[論文レビュー] Anderson Acceleration of Proximal Gradient Methods

Vien Van, Mikael Johansson|arXiv (Cornell University)|Oct 18, 2019

Numerical methods in inverse problems被引用数 18

ひとこと要約

本稿は、局所的超線形収束を実現しつつも、グローバルな最悪ケース収束保証を維持する、近位勾配法における安定化されたアンドリューズ加速フレームワークを導入する。非滑らか写像における局所的収束を確立し、ネイティブなアンドリューズ加速ではグローバル収束が保証されないことを証明し、非ユークリッド的ブレグマン近位勾配スキームに応用することで、実世界の問題において数個のオーダーの速度向上を実現した。

ABSTRACT

Anderson acceleration is a well-established and simple technique for speeding up fixed-point computations with countless applications. Previous studies of Anderson acceleration in optimization have only been able to provide convergence guarantees for unconstrained and smooth problems. This work introduces novel methods for adapting Anderson acceleration to (non-smooth and constrained) proximal gradient algorithms. Under some technical conditions, we extend the existing local convergence results of Anderson acceleration for smooth fixed-point mappings to the proposed scheme. We also prove analytically that it is not, in general, possible to guarantee global convergence of native Anderson acceleration. We therefore propose a simple scheme for stabilization that combines the global worst-case guarantees of proximal gradient methods with the local adaptation and practical speed-up of Anderson acceleration.

研究の動機と目的

• ネイティブなアンドリューズ加速が非滑らかで合成的最適化問題において理論的収束保証を欠いているという問題を解決する。
• アンドリューズ加速を安定化させ、近位勾配法のグローバルな最悪ケース収束を維持しつつ、局所的加速を可能にする。
• アンドリューズ加速をブレグマン近位勾配フレームワークに拡張し、非ユークリッド幾何への応用を可能にする。
• 制約付き最適化問題において顕著な実用的高速化を示す。具体的には、ロジスティック回帰、非負最小二乗法、相対エントロピー回帰を含む。
• ネイティブなアンドリューズ加速の限界を理論的に正当化し、グローバル収束を保証するためのガードステップ機構を提案する。

提案手法

• 近位勾配法（PGA）に適応した安定化されたアンドリューズ加速スキームを提案。AAステップと、グローバル収束を維持するための保護付きバックトラッキングラインサーチを組み合わせる。
• AAステップが目的関数を減少させない場合に標準PGAに戻すガードステップを導入し、グローバルな最悪ケース収束が保たれることを保証する。
• 近位演算子の固定点を推定するために、過去の反復点を活用する最小多項式外挿法を採用。
• AA更新を、Krylov部分空間における残差を最小化する凸部分問題として定式化し、数値的安定性と効率性を確保する。
• ブレグマン発散を近接度の尺度として用いることで、アンドリューズ加速をブレグマン近位勾配（BPG）族に適応し、非ユークリッド幾何への応用を可能にする。
• L1正則化ロジスティック回帰や非負行列分解の部分問題を含む、さまざまな非滑らかで制約付き最適化問題に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 近位勾配法に生じる非滑らか固定点写像に対して、アンドリューズ加速を理論的に正当化できるか？
• RQ2 非滑らかまたは合成的最適化問題において、ネイティブなアンドリューズ加速のグローバル収束が保証されるか？
• RQ3 アンドリューズ加速をどのように安定化すれば、近位勾配法のグローバルな最悪ケース収束を維持しつつ局所的加速を可能にすることができるか？
• RQ4 アンドリューズ加速をブレグマン近位勾配法のような非ユークリッド的最適化フレームワークに拡張できるか？
• RQ5 実世界の制約付き最適化問題において、アンドリューズ加速と近位勾配法を組み合わせることで、どの程度の実用的高速化が達成できるか？

主な発見

• 著者らは、ネイティブなアンドリューズ加速が非滑らか写像に対してグローバル収束を保証できないことを証明し、収束に失敗する強凸問題の反例を提示した。
• 提案された安定化されたAA-PGA法は、標準PGAと同等の最悪ケース反復複雑度を維持しつつ、グローバル収束を達成し、同時に局所的超線形収束を実現した。
• 制約付きロジスティック回帰問題において、安定化されたAA-PGA法は、標準PGAや他の一次元法と比較して、最大数個のオーダーの速度向上を達成した。
• 非負最小二乗問題では、一部の難易度の高いインスタンスでAA-BPGが有限時間収束を示し、過去の反復点の張る空間内に解が含まれることを示唆した。
• 相対エントロピー非負回帰では、AA-BPGが部分的に線形収束する難易度の高いインスタンスでも線形収束を達成し、問題構造への強い局所的適応性を示した。
• 本手法は、ブレグマン近位勾配フレームワークを介して非ユークリッド幾何にアンドリューズ加速を初めて成功裏に適用した。多様な問題クラスにおいて、有望な実証的結果を得た。