[論文レビュー] Explicit Convergence Rates of Greedy and Random Quasi-Newton Methods

Dachao Lin, Haishan Ye+1 more|arXiv (Cornell University)|Apr 18, 2021

Sparse and Compressive Sensing Techniques参考文献 19被引用数 5

ひとこと要約

本稿は、ヘシアン近似に基づく新しい分析フレームワークを導入することで、グリーディおよびランダムな準ニュートン法（BFGSおよびSR1の変種を含む）に対して、明示的な局所的非線形収束速度を確立した。条件数と次元に明示的な依存関係を持つ非漸近的収束境界を提供し、ブロイデン族におけるランダムおよびグリーディ更新の収束速度に関する未解決問題を解消した。

ABSTRACT

Optimization is important in machine learning problems, and quasi-Newton methods have a reputation as the most efficient numerical schemes for smooth unconstrained optimization. In this paper, we consider the explicit superlinear convergence rates of quasi-Newton methods and address two open problems mentioned by Rodomanov and Nesterov. First, we extend Rodomanov and Nesterov's results to random quasi-Newton methods, which include common DFP, BFGS, SR1 methods. Such random methods adopt a random direction for updating the approximate Hessian matrix in each iteration. Second, we focus on the specific quasi-Newton methods: SR1 and BFGS methods. We provide improved versions of greedy and random methods with provable better explicit (local) superlinear convergence rates. Our analysis is closely related to the approximation of a given Hessian matrix, unconstrained quadratic objective, as well as the general strongly convex, smooth, and strongly self-concordant functions.

研究の動機と目的

• 準ニュートン法の理論的理解のギャップを埋めるために、明示的かつ非漸近的な非線形収束速度を提供すること。
• RodomanovとNesterov（2021b）のグリーディな準ニュートンフレームワークを、DFP、BFGS、SR1を含むランダムな準ニュートン法へ拡張すること。
• 新たなグリーディおよびランダムな更新戦略を用いて、SR1およびBFGS法の収束速度を向上させ、局所的非線形収束を証明可能にすること。
• 強い凸性、滑らかさ、自己相反性を満たす関数における収束を分析し、条件数と次元に明示的な依存関係を示すこと。

提案手法

• ヘシアン近似誤差に基づく新しい分析フレームワークを提案し、逆ヘシアン近似誤差行列の進化を追跡する。
• 基底から均等にランダムに探索方向を選択する確率的更新戦略を導入し、追加の勾配情報が必要なグリーディ選択を置き換える。
• 確率的集中不等式を用いて収束境界を導出し、誤差が条件数κおよび次元dに依存する速度で減少することを示す。
• 再帰的誤差伝播および行列摂動解析を通じて、BFGSおよびSR1法のグリーディおよびランダムな変種に対する明示的収束速度を確立する。
• 非特異行列L_kを用いた変換により、更新ダイナミクスを分離し、ヘシアン近似誤差の解析を簡素化する。
• ブロイデン型更新と、現在のヘシアン近似と真のヘシアンとの整合性に基づく正規化を組み合わせた、新規な行列更新ルールを適用する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな準ニュートン法（例：ランダムBFGS、ランダムSR1）に対して、明示的な局所的非線形収束速度を確立できるか？
• RQ2 追加情報が少ないにもかかわらず、ランダム更新はグリーディ更新と同等の収束速度を達成できるか？
• RQ3 標準的なブロイデン更新を越えた更新戦略の精緻化により、SR1およびBFGS法の収束速度を向上させられるか？
• RQ4 準ニュートン法における収束速度が条件数および次元にどのように明示的に依存するか？
• RQ5 同じ仮定のもとで、グリーディおよびランダムな変種の収束速度はどのように比較できるか？

主な発見

• 本稿は、高確率で成り立つ非漸近的非線形収束速度 $ \lambda_{k_0 + k} \leq \left(1 - \frac{1}{t+1}\right)^{k(k-1)/2} \cdot \left(\frac{1}{2}\right)^k \cdot \left(1 - \frac{1}{2\varkappa}\right)^{k_0} \lambda_0 $ を、ランダムな準ニュートン法に対して確立した。
• ランダムブロイデン法の場合、初期化段階 $ k_0 $ は $ O(d\varkappa \ln(d\varkappa / \delta)) $ であり、次元および条件数に依存することが示された。
• グリーディおよびランダムなBFGS法では、$ k_0 = O((d + \varkappa)\ln(d\varkappa / \delta)) $ であり、ランダムブロイデン法に比べて改善された依存関係を示した。
• グリーディおよびランダムなSR1法では、$ k_0 = O((d + \varkappa)\ln(d\varkappa)) $ であり、条件数および次元に依存する明示的な定数が得られた。
• 初期化段階において収束速度が著しく向上し、$ k_0 $ イタレーション後には残差が非線形的に減少した。
• 解析により、ランダム更新がグリーディ更新と同等の収束速度を達成することが確認され、経験的観察を理論的保証で裏付けた。