[論文レビュー] Accelerated Alternating Minimization, Accelerated Sinkhorn's Algorithm and Accelerated Iterative Bregman Projections

Sergey Guminov, Pavel Dvurechensky+2 more|arXiv (Cornell University)|Jun 9, 2019

Sparse and Compressive Sensing Techniques参考文献 63被引用数 28

ひとこと要約

本稿では、実用的な効率性を持つ交互最小化とネステロフの加速を組み合わせた高速化された交互最小化アルゴリズムを提案する。凸問題では$1/k^2$の収束速度を達成し、非凸問題では$1/k$の収束速度を達成するが、凸性や勾配リプシッツ定数の知識を必要としない。この手法は適応的であり、滑らかな凸および非凸設定において一様に最適である。さらに、原価・双対変種は、線形制約付きの強い凸問題において、目的関数の残差と制約の妥当性の両方で$1/k^2$の収束速度を達成する。

ABSTRACT

Alternating minimization (AM) procedures are practically efficient in many applications for solving convex and non-convex optimization problems. On the other hand, Nesterov's accelerated gradient is theoretically optimal first-order method for convex optimization. In this paper we combine AM and Nesterov's acceleration to propose an accelerated alternating minimization algorithm. We prove $1/k^2$ convergence rate in terms of the objective for convex problems and $1/k$ in terms of the squared gradient norm for non-convex problems, where $k$ is the iteration counter. Our method does not require any knowledge of neither convexity of the problem nor function parameters such as Lipschitz constant of the gradient, i.e. it is adaptive to convexity and smoothness and is uniformly optimal for smooth convex and non-convex problems. Further, we develop its primal-dual modification for strongly convex problems with linear constraints and prove the same $1/k^2$ for the primal objective residual and constraints feasibility.

研究の動機と目的

• 交互最小化の実用的効率性と凸最適化におけるネステロフの加速勾配の理論的最適性の間のギャップを埋める。
• 勾配リプシッツ定数や凸性といった問題パラメータの事前知識を必要としない最適な収束レートを達成するアルゴリズムを開発する。
• 原価・双対変種を用いて、線形制約付き強い凸問題に高速化フレームワークを拡張する。
• 滑らかな凸および非凸問題の両方において一様な収束保証を確立する。

提案手法

• ネステロフのモーメンタム技術を交互最小化フレームワークに統合し、収束を加速する。
• 勾配のリプシッツ定数や問題の凸性の知識を必要としない、適応的ステップサイズ戦略を採用する。
• リャプノフ関数を用いて目的関数の減少と勾配ノルムの減衰を分析することで収束レートを導出する。
• 線形制約の妥当性を同時に満たすように、原価目的関数を最小化する双対変種を提案する。
• 反復的ブレグマン射影を基盤とし、収束速度を向上させるために加速を導入する。
• モーメンタムの適応を通じて、再起動機構を暗黙的に適用し、最適な収束レートを維持する。

実験結果

リサーチクエスチョン

• RQ1 凸問題において、問題パラメータの事前知識がなくても、滑らかな凸問題で最適な$1/k^2$収束速度を達成できるか？
• RQ2 提案された加速フレームワークは、非凸設定においても勾配ノルムの二乗の$1/k$収束を維持するか？
• RQ3 線形制約付き強い凸問題を扱えるように、このアルゴリズムを適応可能か？
• RQ4 問題固有のチューニングを必要とせず、凸および非凸滑らかな問題の両方で一様に最適な性能を達成できるか？
• RQ5 原価・双対定式化は、目的関数の残差と制約違反の両方で$1/k^2$収束を達成できるか？

主な発見

• 提案された高速化された交互最小化は、滑らかな凸問題において、目的関数の収束速度が$1/k^2$であることを達成する。
• 非凸問題では、勾配ノルムの二乗に関して$1/k$の収束速度を保証する。
• この手法は適応的であり、凸性や勾配リプシッツ定数の知識を必要としない。
• 原価・双対変種は、線形制約付き強い凸問題において、原価目的関数の残差と制約の妥当性の両方で$1/k^2$の収束速度を達成する。
• このアルゴリズムは、適応的性質のおかげで、滑らかな凸および非凸問題の両方において一様に最適である。
• 理論的保証は、目的関数の減少と勾配の減衰の両方を追跡するリャプノフ解析を通じて確立される。