[论文解读] Inexact Newton's method to nonlinear functions with values in a cone

O. P. Ferreira, G. N. Silva|arXiv (Cornell University)|Oct 7, 2015

Iterative Methods for Nonlinear Equations参考文献 19被引用 8

一句话总结

本文针对映射值属于巴拿赫空间中闭凸锥的非线性包含问题，建立了某种非精确牛顿型方法的半局部收敛性分析。通过引入仿射不变的控制条件并利用容差参数 θ 放松残差误差，作者在弱于经典方法的假设下证明了鲁棒收敛性，将柯尔莫哥洛夫与斯马莱定理推广至该广义设定，并保证收敛至锥内的解。

ABSTRACT

The problem of finding a solution of nonlinear inclusion problems in Banach space is considered in this paper. Using convex optimization techniques introduced by Robinson (Numer. Math., Vol. 19, 1972, pp. 341-347), a robust convergence theorem for inexact Newton's method is proved. As an application, an affine invariant version of Kantorovich's theorem and Smale's α-theorem for inexact Newton's method is obtained.

研究动机与目标

• 将非精确牛顿方法推广至形式为 F(x) ∈ C 的非线性包含问题，其中 F 映射至巴拿赫空间，C 为闭凸锥。
• 通过引入鲁棒控制条件与残差容差 θ，以弱于经典牛顿方法的假设建立收敛性。
• 将柯尔莫哥洛夫与斯马莱定理推广至锥约束问题的非精确牛顿方法，证明解的存在性及其收敛性。
• 提供一种仿射不变分析，避免事先假设解的存在性，仅依赖初始数据与控制函数。

提出的方法

• 提出非精确牛顿迭代：x_{k+1} = x_k + d_k，其中 d_k 最小化 ‖d‖，满足 F(x_k) + F'(x_k)d + r_k ∈ C。
• 施加残差容差条件：max_{w∈{−r_k,r_k}} ‖T_{x_0}^{-1}w‖ ≤ θ ‖T_{x_0}^{-1}[-F(x_k)]‖，其中 0 ≤ θ < 1。
• 引入仿射不变控制函数 f(t) 以控制 F 及其导数的行为，推广利普希茨条件与斯马莱条件。
• 利用凸过程 T_{x_0}(d) = F'(x_0)d - C 的逆来定义控制条件，并在赋范空间中度量收敛性。
• 应用罗宾逊的凸过程理论与凸优化技术，确保迭代的良定义性与收敛性。
• 利用控制函数推导收敛速率与收敛域，给出依赖于 θ、b 与控制参数的显式界。

实验结果

研究问题

• RQ1 非精确牛顿方法能否推广至映射值属于凸锥的非线性包含问题？在何种条件下其收敛？
• RQ2 经典柯尔莫哥洛夫与斯马莱定理如何推广至该锥约束设定下的非精确牛顿方法？
• RQ3 残差容差 θ 在平衡计算不精确性与收敛鲁棒性方面起何种作用？
• RQ4 能否在不事先假设解存在性的前提下建立收敛性，仅依赖初始数据与控制条件？
• RQ5 收敛域与收敛速率如何依赖于控制函数与参数 θ？

主要发现

• 在仿射不变控制条件与残差容差 θ < 1 下，非精确牛顿方法定义良好，并收敛至 F(x) ∈ C 的解。
• 收敛域包含于球 B(x_0, λ)，其中 λ = b / (√(γb) + γb)，b = ‖T_{x_0}^{-1}[-F(x_0)]‖。
• 在控制条件下，序列满足不等式 ‖T_{x_0}^{-1}[-F(x_k)]‖ ≤ [(1+θ²)/2]^k b，确保收敛至解。
• 当 θ = 0 且 C = {0} 时，结果退化为文献中的已知定理：[13, 定理 18] 对应精确方法，[16, 定理 6.3] 对应非精确方法。
• 在斯马莱条件下，方法以 Q-线性速率收敛，收敛率有界于 (1+θ)/(1−θ) [ (1+θ)/2 + 2θ/(1−2√(γb)−γb) ]，前提是 θ 足够小。
• 该分析具有鲁棒性与半局部性：不预先假设解的存在性，仅依赖初始数据与控制函数，即证明了解的存在性与收敛性。