[論文レビュー] On a Combination of Alternating Minimization and Nesterov's Momentum

Sergey Guminov, Pavel Dvurechenskii+2 more|arXiv (Cornell University)|Jun 9, 2019

Matrix Theory and Algorithms被引用数 4

ひとこと要約

本稿では、凸問題に対して$1/k^2$収束率、非凸問題に対して$1/k$収束率を達成する、凸性や滑らかさのパラメータを事前に知らないままに、交替最小化とネステロフのモーメンタムを組み合わせた高速化された交替最小化アルゴリズムを提案する。この手法は適応的でパラメータフリーであり、凸および非凸設定の両方で一様に最適な収束を達成する。応用例として最適輸送と協調フィルタリングを挙げている。

ABSTRACT

Alternating minimization (AM) procedures are practically efficient in many applications for solving convex and non-convex optimization problems. On the other hand, Nesterov's accelerated gradient is theoretically optimal first-order method for convex optimization. In this paper we combine AM and Nesterov's acceleration to propose an accelerated alternating minimization algorithm. We prove $1/k^2$ convergence rate in terms of the objective for convex problems and $1/k$ in terms of the squared gradient norm for non-convex problems, where $k$ is the iteration counter. Our method does not require any knowledge of neither convexity of the problem nor function parameters such as Lipschitz constant of the gradient, i.e. it is adaptive to convexity and smoothness and is uniformly optimal for smooth convex and non-convex problems. Further, we develop its primal-dual modification for strongly convex problems with linear constraints and prove the same $1/k^2$ for the primal objective residual and constraints feasibility.

研究の動機と目的

• 交替最小化の実用的効率性とネステロフのモーメンタムの理論的最適性を統合した、1次最適化手法を開発すること。
• リプシッツ定数などの問題パラメータの知識を必要とせず、凸および非凸問題の両方で一様に最適な収束レートを達成すること。
• 線形制約付きの強い凸問題に対して、プライマル・デュアル形式を設計し、目的関数の残差と制約の適合性の両方で$1/k^2$収束を保証すること。
• 最適輸送や協調フィルタリングのような実世界の問題にこの手法を適用し、実用的な高速化を示すこと。
• モーメンタムの安定性を活用した線分探索戦略を設計し、反復間での収束速度と安定性を向上させること。

提案手法

• Nesterov型モーメンタムを組み込んだ、新たな交替最小化アルゴリズムを導入。モーメンタム項の制御に列 $ a_k $ を用いる。
• 2つの条件を満たす線分探索サブルーチンを採用：$ \langle \nabla f(y^k), v^k - y^k \rangle \geq 0 $ および $ f(y^k) \leq f(x^k) $。これらは停止基準として機能する。
• 線分探索において、$ \beta_{t-2} $ を $ \beta_t $ の初期推定値として用い、同じ偶奇性を持つ反復間で $ \beta $ 値がしばしば安定することに着目する。
• リャプノフ関数と再帰的不等式を用いて収束レートを導出。凸問題では勾配ノルムの観点から$1/k^2$収束、非凸問題では$1/k$収束を確立。
• 線形制約付き強い凸問題に対するプライマル・デュアル変種を開発。目的関数の残差と制約適合性の両方で$1/k^2$収束を証明。
• 加速されたシンコルンおよび反復ブレグマン射影（IBP）アルゴリズムへの応用。最適輸送およびウォッシャー形式の重心問題において、複雑度の上限を改善。

実験結果

リサーチクエスチョン

• RQ1 交替最小化をネステロフのモーメンタムで高速化することで、問題パラメータの知識なしに最適な収束レートを達成できるか？
• RQ2 提案手法が、凸問題では$1/k^2$収束、非凸問題では$1/k$収束をパラメータフリーで維持できるか？
• RQ3 線形制約付き強い凸問題に対して、プライマル・デュアル形式に拡張可能であり、最適な収束を保ち続けられるか？
• RQ4 モーメンタムの安定性に基づく線分探索戦略が、実用的性能をどのように向上させるか？
• RQ5 提案フレームワークから導出された加速IBPおよびシンコルンアルゴリズムの複雑度は何か？

主な発見

• 提案アルゴリズムは、凸問題において目的関数の$1/k^2$収束率を達成し、ネステロフ法の理論的最適値と一致する。
• 非凸問題では、勾配ノルムの二乗に関する$1/k$収束を保証し、1次最適化手法として最適である。
• 凸性および滑らかさに適応的であり、リプシッツ定数やその他の問題パラメータの知識を一切不要とする。
• プライマル・デュアル変種は、線形制約付き強い凸問題において、プライマル目的関数の残差と制約適合性の両方で$1/k^2$収束を達成する。
• ウォッシャー形式の重心のための加速IBPアルゴリズムの総合的複雑度は $ O\left(\frac{mN^{5/2}\sqrt{\ln N}\|C\|_{\infty}}{\varepsilon}\right) $ であり、標準IBPよりも改善されている。
• 加速されたシンコルンアルゴリズムは、標準シンコルンと同一の複雑度を有するが、モーメンタムのおかげで収束が速く、実験的性能向上が確認されている。