[论文解读] BFGS convergence to nonsmooth minimizers of convex functions

Jiayi Guo, Adrian S. Lewis|arXiv (Cornell University)|Mar 20, 2017

Advanced Optimization Algorithms Research参考文献 10被引用 4

一句话总结

本文在较弱的正则性条件下，建立了 BFGS 拟牛顿法在非光滑凸函数上的全局收敛性，表明即使目标函数在解处不可微，BFGS 序列仍会收敛到极小值点。关键贡献在于证明：收敛失败仅可能发生在迭代点趋近于非光滑点时，而这种情况足以保证在诸如欧几里得范数和 $f(u,v) = u^2 + |v|$ 等重要情形下的收敛性。通过基于次水平集附近 $C^2$ 近似的技术，该分析将 Powell 的经典光滑收敛结果推广至非光滑情形。

ABSTRACT

The popular BFGS quasi-Newton minimization algorithm under reasonable conditions converges globally on smooth convex functions. This result was proved by Powell in 1976: we consider its implications for functions that are not smooth. In particular, an analogous convergence result holds for functions, like the Euclidean norm, that are nonsmooth at the minimizer.

研究动机与目标

• 将 Powell 在光滑凸函数上关于 BFGS 全局收敛性的经典结果推广至非光滑情形。
• 解释为何 BFGS 在实践中对非光滑问题表现良好，尽管理论支持有限。
• 建立 BFGS 序列必须收敛到极小值点的条件，即使目标函数在解处不可微。
• 通过局部 $C^2$ 近似，证明对欧几里得范数和 $f(u,v) = u^2 + |v|$ 等特定非光滑函数的收敛性。
• 表明 BFGS 迭代点无法长期远离非光滑点，意味着该算法能够检测不可微性。

提出的方法

• 将 BFGS 序列定义为满足 Armijo 和弱 Wolfe 线搜索条件，并使用 BFGS 公式进行 Hessian 近似更新的序列。
• 应用 BFGS 更新公式：$ H_{k+1} = V_k H_k V_k^T + \frac{s_k s_k^T}{s_k^T y_k} $，其中 $ V_k = I - \frac{s_k y_k^T}{s_k^T y_k} $，以保证正定性和下降性。
• 在次水平集的邻域内，引入原非光滑函数 $f$ 的局部 $C^2$ 凸近似 $f_\delta$，使其在 $f(x) \geq \min f + \delta$ 时与 $f$ 一致。
• 将 Powell 的原始收敛定理应用于 $C^2$ 近似 $f_\delta$，表明若 BFGS 序列避开极小值点，则与 $f_\delta$ 收敛至其最小值的事实矛盾。
• 采用反证法：若 BFGS 迭代点始终均匀远离极小值点，则 $C^2$ 近似 $f_\delta$ 必须收敛至低于 $\min f$ 的值，这是不可能的。
• 通过构造显式 $C^2$ 近似 $g_\delta(t)$ 匹配原函数在零点邻域外的性质，证明欧几里得范数和 $f(u,v) = u^2 + |v|$ 的收敛性。

实验结果

研究问题

• RQ1 即使函数在解处不可微，BFGS 方法是否仍能对非光滑凸函数的极小值点实现全局收敛？
• RQ2 在存在非光滑性的情况下，BFGS 方法在何种条件下可避免收敛到非最优点？
• RQ3 能否通过近似技术将 Powell 对光滑凸函数的古典收敛结果推广至非光滑凸函数？
• RQ4 BFGS 方法是否能检测并收敛到非光滑极小值点，例如 $f(u,v) = u^2 + |v|$ 中的原点？
• RQ5 对于 $\mathbb{R}^n$ 上的欧几里得范数，是否能通过 BFGS 保证收敛，尽管其在零点处不可微？

主要发现

• 对于 $f(u,v) = u^2 + |v|$，BFGS 序列必须存在一个子序列收敛到 $v = 0$，即函数非光滑的直线。
• 在 $\mathbb{R}^n$ 上的欧几里得范数中，任意 BFGS 序列均全局收敛于唯一的极小值点零。
• BFGS 方法无法长期远离非光滑点集合；若其避开这些点，则无法收敛至最小值。
• 构造一个在次水平集 $\delta$-邻域外与 $f$ 一致的 $C^2$ 凸近似 $f_\delta$，使得可应用 Powell 的光滑收敛定理。
• 对于 $f(u,v) = u^2 + |v|$，数值证据强烈支持收敛于零，尽管这仍是开放猜想。
• 该结果表明 BFGS 能有效检测非光滑性，因为若极小值点为非光滑点，则其无法收敛至非最优点。