[論文レビュー] Geometry of First-Order Methods and Adaptive Acceleration

Clarice Poon, Jingwei Liang|arXiv (Cornell University)|Mar 9, 2020

Numerical methods in inverse problems参考文献 73被引用数 9

ひとこと要約

本稿では、非滑らか最適化における一次順化法の解析のための幾何的枠組みを導入し、部分滑らか性を介して反復列が局所的に直線やらせんなどの正則な軌道に収束することを明らかにした。また、これらの軌道を追跡するための適応的加速アルゴリズムを提案し、ベクトル外挿技術と接続することで、グローバル収束性と改善された局所収束速度を達成した。

ABSTRACT

First-order operator splitting methods are ubiquitous among many fields through science and engineering, such as inverse problems, signal/image processing, statistics, data science and machine learning, to name a few. In this paper, we study a geometric property of first-order methods when applying to solve non-smooth optimization problems. With the tool of "partial smoothness", we design a framework to analyze the trajectory of the fixed-point sequence generated by first-order methods and show that locally, the fixed-point sequence settles onto a regular trajectory such as a straight line or a spiral. Based on this finding, we discuss the limitation of current widely used "inertial acceleration" technique, and propose a trajectory following adaptive acceleration algorithm. Global convergence is established for the proposed acceleration scheme based on the perturbation of fixed-point iteration. Locally, we first build connections between the acceleration scheme and the well-studied "vector extrapolation technique" in the field of numerical analysis, and then discuss local acceleration guarantees of the proposed acceleration scheme. Moreover, our result provides a geometric interpretation of these vector extrapolation techniques. Numerical experiments on various first-order methods are provided to demonstrate the advantage of the proposed adaptive acceleration scheme.

研究の動機と目的

• 非滑らか最適化問題を解く際の一次順化法における固定点反復列の幾何的挙動を理解すること。
• 既存の慣性的加速技術が収束軌道の真の構造を十分に捉えていないことの限界を特定すること。
• 反復列の局所的軌道に動的に追従するための適応的加速スキームを設計し、収束速度を向上させること。
• 固定点反復摂動理論を用いて、提案された加速法のグローバル収束保証を確立すること。
• 収束ダイナミクスの軌道整合性の観点から、数値解析における古典的ベクトル外挿技術の幾何的解釈を提供すること。

提案手法

• 一次順化法が生成する固定点列の局所的幾何を特徴付けるために、部分滑らか性の概念を用いる。
• 反復列の軌道を分析し、ヒルベルト空間内において直線やらせんなどの正則曲線に局所的に収束することを示す。
• 観察された局所的幾何に応じて補外ステップを変更する、軌道追従型の適応的加速アルゴリズムを提案する。
• 加速を元の固定点反復の摂動とみなすことにより、グローバル収束を確立する。
• 収束ダイナミクスの構造を通じて、提案手法をベクトル外挿技術（例：最小多項式外挿）と結びつける。
• スペクトル仮定の下で、収束レートのバウンディングにチェビシェフ多項式近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 非滑らか最適化問題において、一次順化法の反復列は解の近傍でどのように幾何的に振る舞うか？
• RQ2 標準的な慣性的加速技術が、収束の背後にある幾何的構造を完全に活用できないのはなぜか？
• RQ3 反復列の局所的軌道を追跡する適応的加速スキームを設計できるか？
• RQ4 このような軌道追従型加速法の理論的収束保証は何か？
• RQ5 提案手法は、数値解析における古典的ベクトル外挿技術とどのように関係し、一般化されるか？

主な発見

• 問題のアクティブ多様体の部分滑らか性のおかげで、一次順化法の固定点反復列は、局所的に直線やらせんなどの正則な軌道に収束する。
• 提案された適応的加速スキームは、加速を元の固定点反復の摂動とみなすことにより、グローバル収束を達成する。
• 補外方向を観察された軌道に一致させることで、局所的収束速度の向上が達成され、標準的な慣性スキームを上回る性能を示す。
• スペクトル仮定の下で、チェビシェフ多項式の最小化を用いて収束レートをバウンディングし、$ \mathcal{O}\left(\left(\frac{\sqrt{\eta}-1}{\sqrt{\eta}+1}\right)^q\right) $ のレートが得られる。ここで $ \eta = \frac{1-\alpha}{1-\beta} $ である。
• 本フレームワークは、ベクトル外挿技術に幾何的解釈を提供し、それらが暗黙的に収束ダイナミクスの主要部分空間を近似していることを示している。
• 数値実験により、FISTA や ADMM を含むさまざまな一次順化アルゴリズムにおいて、標準的な慣性法に比べて適応的スキームの優位性が確認された。