[论文解读] Kantorovich's Theorem on Newton's Method

O. P. Ferreira, B. F. Svaiter|arXiv (Cornell University)|Sep 25, 2012

Iterative Methods for Nonlinear Equations参考文献 10被引用 5

一句话总结

本文提出了一种基于标量主要化函数的新技术，对牛顿法的 Kantorovich 定理给出了简化证明。通过将非线性算子 $ F $ 与二次标量函数 $ f(t) = \frac{L}{2}t^2 - t + b $ 进行比较，作者定义了不变区域，使得牛顿迭代在巴拿赫空间设定下始终保持定义良好，并以 Q-线性速度收敛到唯一解，且在更严格条件下呈现二次收敛。

ABSTRACT

In this work we present a simplifyed proof of Kantorovich's Theorem on Newton's Method. This analysis uses a technique which has already been used for obtaining new extensions of this theorem.

研究动机与目标

• 使用一种新的分析技术，提供 Kantorovich 定理在牛顿法上的简化证明。
• 在巴拿赫空间中，于半局部条件下建立 $ F(x) = 0 $ 解的存在性与唯一性。
• 证明牛顿迭代在初始点附近一个明确定义的球内收敛到唯一零点。
• 通过扩展经典结果，表明在更严格条件下，收敛速度为 Q-线性和 Q-二次收敛。

提出的方法

• 定义一个标量主要化函数 $ f(t) = \frac{L}{2}t^2 - t + b $，用于在范数上控制非线性算子 $ F $。
• 通过在 $ f $ 上进行牛顿迭代构造序列 $ \{t_k\} $，该序列作为 $ F $ 的牛顿迭代 $ \{x_k\} $ 的主要化函数。
• 证明：若 $ x_k \in B[x_0, t_k] $，则 $ x_{k+1} = x_k - F'(x_k)^{-1}F(x_k) \in B[x_0, t_{k+1}] $，从而保证区域的不变性。
• 利用不等式 $ \|x_* - x_{k+1}\| \leq \frac{t_* - t_{k+1}}{(t_* - t_k)^2} \|x_* - x_k\|^2 $ 推导收敛速率。
• 证明当 $ k \to \infty $ 时 $ t_k \to t_* $，其中 $ t_* = \frac{1 - \sqrt{1 - 2bL}}{L} $，且 $ t_{**} = \frac{1 + \sqrt{1 - 2bL}}{L} $，定义收敛半径。
• 利用比值 $ \theta = t_*/t_{**} < 1 $ 推导出当 $ 2bL < 1 $ 时的 Q-二次收敛界。

实验结果

研究问题

• RQ1 能否通过标量主要化函数方法构造 Kantorovich 牛顿法定理的简化证明？
• RQ2 在什么条件下，牛顿迭代能保持在初始点附近明确定义的不变区域内？
• RQ3 在半局部设定下，牛顿法的收敛速率如何依赖于参数 $ b $ 和 $ L $？
• RQ4 在球 $ B[x_0, t_*] $ 内，$ F(x) = 0 $ 的解何时唯一？
• RQ5 当 $ 2bL < 1 $ 时，收敛速率的精确定量界是什么？

主要发现

• 在定理 1 的假设下，牛顿迭代 $ \{x_k\} $ 始终定义良好，并保持在 $ B[x_0, t_*] $ 内。
• 解 $ x_* $ 是 $ F $ 在 $ B[x_0, t_*] $ 内的唯一零点，且满足 $ \|x_* - x_{k+1}\| \leq \frac{1}{2}\|x_* - x_k\| $，表明其具有 Q-线性收敛性。
• 当 $ 2bL < 1 $ 时，收敛变为 Q-二次：$ \|x_* - x_{k+1}\| \leq \frac{1 - \theta^{2^k}}{1 + \theta^{2^k}} \cdot \frac{L}{2\sqrt{1 - 2bL}} \|x_* - x_k\|^2 $，其中 $ \theta = t_*/t_{**} < 1 $。
• 若 $ B[x_0, \rho] \subset C $，则解 $ x_* $ 也是 $ F $ 在 $ B[x_0, \rho] $ 内的唯一零点，其中任意 $ \rho \in [t_*, t_{**}) $。
• 推导出 $ t_k $ 的闭式表达：$ t_k = t_* - \frac{\theta^{2^k}}{1 - \theta^{2^k}} \cdot \frac{2\sqrt{1 - 2bL}}{L} $，其中 $ \theta = t_*/t_{**} $。
• 使用标量主要化函数的证明技术提供了一个统一框架，可推广至超越经典设定的 Kantorovich 定理。