[論文レビュー] Complexity Guarantees for Polyak Steps with Momentum

Mathieu Barré, Adrien Taylor+1 more|arXiv (Cornell University)|Feb 3, 2020

Computability, Logic, AI Algorithms参考文献 1被引用数 5

ひとこと要約

本稿では、既知の最適値 $f^*$ を用いてステップサイズを決定するポリアックステップを用いる、モーメンタムを組み込んだ加速勾配法を提案する。この手法により、滑らかで強く凸な最適化問題において線形収束を達成する。強凸性パラメータの必要性を $f^*$ に置き換えることで、調整を必要とせず、標準的手法よりも改善された理論的複雑度保証を達成する。

ABSTRACT

In smooth strongly convex optimization, knowledge of the strong convexity parameter is critical for obtaining simple methods with accelerated rates. In this work, we study a class of methods, based on Polyak steps, where this knowledge is substituted by that of the optimal value, $f_*$. We first show slightly improved convergence bounds than previously known for the classical case of simple gradient descent with Polyak steps, we then derive an accelerated gradient method with Polyak steps and momentum, along with convergence guarantees.

研究の動機と目的

• 強凸性パラメータの知識が不要な、適応的で加速収束を達成する最適化手法の開発。
• 強凸性定数に依存するのを、既知の最適値 $f^*$ に置き換えることで、より単純で頑健な実装を可能にする。
• 滑らかで強く凸な設定における、モーメンタム付きポリアックステップ法の理論的複雑度保証の提供。
• 非滑らか項を含むプロキシマルおよび複合最適化問題へのポリアックステップの拡張可能性の探求。
• 適応的手法の実効的性能と理論的収束保証の間のギャップを埋める。

提案手法

• 既知の最適目的値 $f^*$ を用いてステップサイズを計算する、モーメンタムを強化したポリアックステップの変種を提案する。
• 最近開発された、一次順序手法を分析するためのフレームワークであるパフォーマンス推定問題（PEP）を用いて収束境界を導出する。
• アルゴリズムに二重ループ構造を導入し、内側のループで $f^*$ を基にモーメンタムパラメータを推定する。
• プロキシマル拡張を用いて複合目的関数に適応させ、ラッソやチホノフ正則化における非滑らか項への適用を可能にする。
• パフォーマンス推定アプローチを用いてタイトな収束レートを導出し、滑らかで強く凸な仮定下で加速された線形収束が証明される。
• 最小二乗法、ロジスティック回帰、ラッソ問題において、数値的に GD、AGM、および通常のポリアックステップと比較して手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 強凸性パラメータの知識がなくても、モーメンタム付きポリアックステップは滑らかで強く凸な最適化において加速収束レートを達成できるか？
• RQ2 $f^*$ を強凸性定数の代わりに使用することで、収束速度と頑健性にどのような影響を与えるか？
• RQ3 非滑らか項を含むプロキシマルおよび複合最適化問題へのポリアックステップフレームワークの拡張は可能か？
• RQ4 提案されたモーメンタム強化型ポリアック法の理論的複雑度保証は何か？
• RQ5 リスタートに基づく手法の複雑度に匹敵するが、外側のループのオーバーヘッドを伴わない単一ループの適応的アルゴリズムを設計することは可能か？

主な発見

• 提案されたモーメンタム強化型ポリアック法は、加速手法の最良-known理論的境界に一致する加速された線形収束レートを達成する。
• この手法は調整を一切必要とせず、既知の最適値 $f^*$ のみを必要とするため、パrametricな加速スキームよりも単純で頑健である。
• 数値実験では、標準的勾配降下法や非加速型ポリアックステップを上回り、調整なしでも加速手法と競合する性能を示す。
• Lemma 3 により、$f^*$ の誤差が生じても収束レートの劣化が限定的であることが示され、$f^*$ の誤指定に対しても頑健であることが確認された。
• ラッソや正則化付きロジスティック回帰において、アルゴリズムのプロキシマルバージョンが成功裏に開発・検証され、複合目的関数への適用可能性が示された。
• パフォーマンス推定フレームワークにより、タイトな解析が可能となり、滑らかで強く凸な仮定下で加速収束の挙動が確認された。