[論文レビュー] Proximal Adam: Robust Adaptive Update Scheme for Constrained Optimization

P. Melchior, R. Joseph+1 more|arXiv (Cornell University)|Oct 22, 2019

Sparse and Compressive Sensing Techniques参考文献 7被引用数 7

ひとこと要約

本稿では、リプシッツ定数の明示的計算を必要とせずに、Adam風の適応的学習率をプロキシマル勾配法（PGM）に統合する新しい適応的プロキシマル勾配法AdaProxを提案する。勾配の移動平均とプロキシマル作用素による適応的ステップサイズを活用することで、制約付き行列因子分解タスクにおいてPGMよりも高速な収束と低い実行時間を達成し、最終的な損失と効率性の両面でベースライン手法を上回る性能を発揮する。

ABSTRACT

We implement the adaptive step size scheme from the optimization methods AdaGrad and Adam in a novel variant of the Proximal Gradient Method (PGM). Our algorithm, dubbed AdaProx, avoids the need for explicit computation of the Lipschitz constants or additional line searches and thus reduces per-iteration cost. In test cases for Constrained Matrix Factorization we demonstrate the advantages of AdaProx in fidelity and performance over PGM, while still allowing for arbitrary penalty functions. The python implementation of the algorithm presented here is available as an open-source package at https://github.com/pmelchior/proxmin.

研究の動機と目的

• 複雑で非線形なモデルではコストが高かったり計算が不可能なため、リプシッツ定数の明示的計算を回避するプロキシマル最適化手法の開発。
• Adamおよびその変種の適応的学習率スキームをプロキシマル勾配法に統合し、収束性とロバスト性を向上させること。
• 計算効率性と収束保証を維持したまま、任意のプロキシマル正則化子の使用を可能にすること。
• 損失関数 f が評価に高コストであるが、正則化子 r のプロキシマル作用素が計算的に扱いやすい最適化問題において、1イテレーションあたりのコストを低減すること。

提案手法

• AdaProxは、PGMにおける固定ステップサイズ αₜ ∈ (0, 2/L) を、勾配のモーメント推定に基づく適応的ステップサイズに置き換える。
• 各イテレーションで正則化子 r(𝐱) のプロキシマル作用素を用いることで、r が微分可能でなくても制約の遵守を保証する。
• β₁およびβ₂による重み付き移動平均を用いて勾配の分散に基づく適応的学習率を計算し、AMSGrad や PAdam と同様に補正項をオプションで導入する。
• パラメータごとに効果的な学習率を動的に調整することで、初期ハイパーパramータの選択に敏感になるのを軽減し、収束の安定性を向上させる。
• 1ステップあたり1回のフォワード・バックワード反復で実装され、平均1〜2回のサブイテレーションに留めることで、計算オーバーヘッドを最小限に抑える。
• 複数の適応的バージョンをサポート：AdaProx-Adam、AdaProx-AMSGrad、AdaProx-AdamX、およびAdaProx-PAdam。後者は分散スケーリングを制御するためのパワーパramータ p を導入する。

実験結果

リサーチクエスチョン

• RQ1 Adamからの適応的学習率スキームを、リプシッツ定数の明示的知識が不要な状態でプロキシマル勾配法に統合することは可能か？
• RQ2 損失関数 f が評価に高コストである制約付き最適化問題において、AdaProxアルゴリズムは標準的なPGMに比べてより高速な収束と低い実行時間を達成するか？
• RQ3 AMSGrad や PAdam などの異なる適応的バージョンは、さまざまな行列因子分解問題において、最終的な損失、収束速度、ロバスト性の観点でどのように比較されるか？
• RQ4 PAdamにおけるパワーパラメータ p の選択が、最適化プロセスの安定性と性能にどの程度影響を与えるか？
• RQ5 L が計算不能である非線形的・非凸的・複雑な観測モデルにおいて、AdaProxは高い解の忠実度と一般化性能を維持できるか？

主な発見

• アストロノミー分野の制約付き行列因子分解問題において、AdaProx-AMSGradは0.12秒の最短実行時間を記録し、わずかに高い最終損失であってもPGMを上回るスピードを発揮した。
• p=0.45 の AdaProx-PAdam は1398.2の最終損失を達成し、PGMの2538.4および他のAdaProxバージョンを大きく上回った。
• 1イテレーションあたり1〜2回のプロキシマルサブイテレーションで十分であったため、1イテレーションあたりの計算コストが低いことが実証された。
• AdaProx-AMSGradは、1CPU上でPGMと同程度のイテレーション数を用いながらも、実行時間を6.3秒から0.12秒にまで短縮した。
• f が評価に高コストであり、L が計算不能な状況下でも、AdaProxはPGMよりも高速な収束とより優れた最終解の質を達成した。
• オープンソースのPythonパッケージ `proxmin` は https://github.com/pmelchior/proxmin で入手可能で、実用的導入を支援する。