[論文レビュー] A Bregman Extension of quasi-Newton updates II: Convergence and Robustness Properties

Takafumi Kanamori, Atsumi Ohara|arXiv (Cornell University)|Oct 14, 2010

Sparse and Compressive Sensing Techniques参考文献 15被引用数 3

ひとこと要約

本稿は、カルバック・ライバラー発散の一般化としてのブレグマン発散を用いて、準ニュートン法を拡張し、DFP や BFGS を一般化する新たなヘシアン更新式を導出する。新しい枠組みにおいて収束性を確立し、正確でないラインサーチの誤差の影響を制限するのは唯一標準の BFGS 公式であることが示され、実用的な文脈における BFGS の頑健性が強調される。

ABSTRACT

We propose an extension of quasi-Newton methods, and investigate the convergence and the robustness properties of the proposed update formulae for the approximate Hessian matrix. Fletcher has studied a variational problem which derives the approximate Hessian update formula of the quasi-Newton methods. We point out that the variational problem is identical to optimization of the Kullback-Leibler divergence, which is a discrepancy measure between two probability distributions. Then, we introduce the Bregman divergence as an extension of the Kullback-Leibler divergence, and derive extended quasi-Newton update formulae based on the variational problem with the Bregman divergence. The proposed update formulae belong to a class of self-scaling quasi-Newton methods. We study the convergence property of the proposed quasi-Newton method, and moreover, we apply the tools in the robust statistics to analyze the robustness property of the Hessian update formulae against the numerical rounding errors included in the line search for the step length. As the result, we found that the influence of the inexact line search is bounded only for the standard BFGS formula for the Hessian approximation. Numerical studies are conducted to verify the usefulness of the tools borrowed from robust statistics.

研究の動機と目的

• 標準の準ニュートン更新を一般化し、カルバック・ライバラー発散をブレグマン発散へ拡張することで、ヘシアン近似の改善を図ること。
• 提案されたブレグマンに基づく準ニュートン更新式の収束性を確立すること。
• ロバスト統計のツールを用いて、正確でないラインサーチに起因する数値誤差に対するヘシアン更新の頑健性を分析すること。
• ラインサーチプロセスにおける摂動に対して、影響が有界である更新式を特定すること。

提案手法

• ブレグマン発散をカルバック・ライバラー発散の一般化として用い、ヘシアン更新のための変分最適化問題を定式化する。
• ブレグマン発散を用いて正定値行列上の制約付き最小化問題を解き、新たな準ニュートン更新式を導出する。
• ロバスト統計におけるインフルエンス関数分析を用い、探索方向および勾配情報における摂動に対するヘシアン更新の感度を評価する。
• 関数 β(z) を用いたパラメトリックな更新式の族を導入し、標準の BFGS は β=0 に対応する。
• 行列の摂動解析を用いて、インフルエンス関数のフロベニウスノルムを評価し、数値誤差への感受性を測定する。
• アルゴリズムフレームワークにおける計算効率を維持するため、コレスキー分解の更新と逆ヘシアンの更新を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブレグマン発散フレームワークは、DFP や BFGS などの既存の準ニュートン法を一般化できるか？
• RQ2 提案されたブレグマンに基づく更新式は、標準的な準ニュートンの仮定のもとで収束性を保つのか？
• RQ3 どの更新式が正確でないラインサーチの誤差からの影響を有界に保っているか？
• RQ4 発散関数の選択（例：KL 発散 vs. 一般のブレグマン発散）が、ヘシアン更新の頑健性にどのように影響するか？
• RQ5 標準の BFGS 更新は、他の変種と比較して、ラインサーチにおける数値ノイズに対して一意に頑健であるか？

主な発見

• 提案されたブレグマンに基づく更新式は DFP や BFGS を一般化し、標準的な条件下でも収束性を維持する。
• 正確でないラインサーチの誤差がヘシアン更新に与える影響を制限するのは、唯一標準の BFGS 公式である。これはインフルエンス関数のフロベニウスノルムで測定された結果である。
• DFP や拡張された変種を含む、他のすべてのブレグマンに基づく更新式では、摂動に対してインフルエンス関数が無限大に発散する可能性があり、数値ノイズに対する制御不能な感受性を示唆する。
• ヘシアン近似の行列式が固定されていても、標準 BFGS を除くすべてのブレグマンに基づく更新式において、インフルエンス関数のフロベニウスノルムは無限大に発散する。
• 数値実験により、ロバスト統計のツールがヘシアン更新における数値誤差への感受性を効果的に検出・定量できることを確認した。
• 解析により、BFGS の頑健性はその対称的構造と、摂動に対しても有界のままである特定のインフルエンス関数の形に起因することが明らかになった。