[论文解读] A Bregman Extension of quasi-Newton updates II: Convergence and Robustness Properties

Takafumi Kanamori, Atsumi Ohara|arXiv (Cornell University)|Oct 14, 2010

Sparse and Compressive Sensing Techniques参考文献 15被引用 3

一句话总结

该论文通过Bregman散度将Kullback-Leibler散度推广为广义形式，扩展了拟牛顿法，推导出广义DFP和BFGS的Hessian更新公式。在新框架下建立了收敛性，并表明只有标准BFGS公式能限制非精确线搜索误差的影响，而其他变体可能放大数值噪声，凸显了BFGS在实际应用中的鲁棒性。

ABSTRACT

We propose an extension of quasi-Newton methods, and investigate the convergence and the robustness properties of the proposed update formulae for the approximate Hessian matrix. Fletcher has studied a variational problem which derives the approximate Hessian update formula of the quasi-Newton methods. We point out that the variational problem is identical to optimization of the Kullback-Leibler divergence, which is a discrepancy measure between two probability distributions. Then, we introduce the Bregman divergence as an extension of the Kullback-Leibler divergence, and derive extended quasi-Newton update formulae based on the variational problem with the Bregman divergence. The proposed update formulae belong to a class of self-scaling quasi-Newton methods. We study the convergence property of the proposed quasi-Newton method, and moreover, we apply the tools in the robust statistics to analyze the robustness property of the Hessian update formulae against the numerical rounding errors included in the line search for the step length. As the result, we found that the influence of the inexact line search is bounded only for the standard BFGS formula for the Hessian approximation. Numerical studies are conducted to verify the usefulness of the tools borrowed from robust statistics.

研究动机与目标

• 通过将Kullback-Leibler散度推广为Bregman散度，扩展标准拟牛顿更新，以改进Hessian近似。
• 建立所提出的基于Bregman的拟牛顿更新公式的收敛性性质。
• 利用鲁棒统计工具分析Hessian更新对非精确线搜索中数值误差的鲁棒性。
• 识别哪些更新公式在行搜索过程扰动下能保持影响的有界性。

提出的方法

• 使用Bregman散度作为Kullback-Leibler散度的推广，定义Hessian更新的变分优化问题。
• 通过在正定矩阵上使用Bregman散度求解约束最小化问题，推导出新的拟牛顿更新公式。
• 应用鲁棒统计中的影响函数分析，评估Hessian更新对搜索方向和梯度信息扰动的敏感性。
• 通过函数β(z)引入参数化的更新公式族，标准BFGS对应β=0。
• 使用矩阵扰动分析评估影响函数的Frobenius范数，以衡量对数值误差的敏感性。
• 采用Cholesky分解更新和逆Hessian更新，在算法框架中保持计算效率。

实验结果

研究问题

• RQ1 Bregman散度框架能否推广现有的拟牛顿方法（如DFP和BFGS）？
• RQ2 所提出的基于Bregman的更新公式在标准拟牛顿假设下是否保持收敛性？
• RQ3 哪些更新公式在Hessian近似中对非精确线搜索误差的影响具有有界性？
• RQ4 发散函数的选择（如KL与一般Bregman）如何影响Hessian更新的鲁棒性？
• RQ5 与其它变体相比，标准BFGS更新是否在行搜索数值噪声中具有唯一鲁棒性？

主要发现

• 所提出的基于Bregman的更新公式推广了DFP和BFGS，并在标准条件下保持收敛性。
• 只有标准BFGS公式能通过影响函数的Frobenius范数限制非精确线搜索误差对Hessian更新的影响。
• 对于所有其他基于Bregman的更新（包括DFP和扩展变体），在扰动下影响函数可能变得无界，表明对数值噪声具有不受控的敏感性。
• 对于所有基于Bregman的更新，除标准BFGS外，影响函数的Frobenius范数在Hessian近似行列式固定时均发散至无穷大。
• 数值实验确认，鲁棒统计工具能有效检测并量化Hessian更新中对数值误差的敏感性。
• 分析表明，BFGS的鲁棒性源于其对称结构和影响函数的特定形式，即使在扰动下仍保持有界。