[論文レビュー] General Convergence Rates Follow From Specialized Rates Assuming Growth Bounds

Benjamin Grimmer|arXiv (Cornell University)|May 15, 2019

Sparse and Compressive Sensing Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、Hölder成長バウンド（二次的・鋭い成長を含む）を仮定した場合の特殊な収束速度から、一般の凸最適化法における一般の収束速度を導出するメタ定理を導入する。成長仮定の下での既存の収束証明の構造を活用することで、アルゴリズムを変更せずに一般凸ケースへの速度の拡張が可能となり、最小限のオーバーヘッドであらゆる設定において統一的な解析が可能となる。

ABSTRACT

Often in the analysis of first-order methods, assuming the existence of a quadratic growth bound (a generalization of strong convexity) facilitates much stronger convergence analysis. Hence the analysis is done twice, once for the general case and once for the growth bounded case. We give a meta-theorem for deriving general convergence rates from those assuming a growth lower bound. Applying this simple but conceptually powerful tool to the proximal point method, the subgradient method, and the bundle method immediately recovers their known convergence rates for general convex optimization problems from their specialized rates. Future works studying first-order methods can assume growth bounds for the sake of analysis without hampering the generality of the results. Our results can be applied to lift any rate based on a Hölder growth bound. As a consequence, guarantees for minimizing sharp functions imply guarantees for both general functions and those satisfying quadratic growth.

研究の動機と目的

• 一般凸問題と成長バウンド（例：二次的・鋭い成長）を仮定した場合の収束速度を別々に導出する非効率性を解消すること。
• 成長仮定の下で得られた速度を体系的に一般速度に変換できることを示し、重複する解析を排除すること。
• 近位点法、勾配降下法、バンドル法など、多様な第一階層最適化法に適用可能な一般枠組みを提供すること。
• 研究者が解析中に成長バウンドを仮定しても、最終的な収束保証の一般性を損なわないようにすること。
• Hölder成長バウンドに基づく収束速度の一般凸ケースへの拡張の理論的基盤を確立すること。

提案手法

• Hölder成長バウンド $ F(x) \geq F(x^*) + \alpha \|x - x^*\|^p $ の下で得られた収束速度を、凸関数に対する一般速度に変換するメタ定理を提唱する。
• 方法が (A1)–(A3) を満たすと仮定する：関数値および部分勾配値への依存性、有界な反復点、成長条件の下での収束性。
• 近位点法、勾配降下法、バンドル法の3つの標準的手法に、この拡張技術を適用し、特殊な速度から既知の一般速度を回復する。
• 成長パラメータ $\alpha$、初期距離 $\|x_0 - x^*\|$、および所望の精度 $\epsilon$ の間の相互作用を分析して境界を導出する。
• 一般ケースにおける $\epsilon$-精度を達成するための反復回数を制御するために、対数的および逆数的依存関係を活用する。
• 既知の成長仮定下での収束速度（例：バンドル法におけるDuとRuszczyńskiの結果）を活用し、メタ定理を適用して一般速度を導出する。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズムを変更せずに、成長バウンドの下で得られた収束速度を一般凸収束速度に体系的に変換することは可能か？
• RQ2 第一階層最適化法の既存の特殊な収束速度が、弱い仮定のもとで一般速度をどのように示唆するか？
• RQ3 成長バウンドを仮定することで、バンドル法のような複雑な手法の解析はどの程度簡素化可能か？
• RQ4 この拡張技術が適用可能となる第一階層最適化法に必要な最小限の構造的要件は何か？
• RQ5 二次的・鋭い成長を超えて、任意のHölder成長バウンドへもこの拡張フレームワークを一般化できるか？

主な発見

• 近位点法の一般収束速度は $ O(\|x_0 - x^*\|^2 / \epsilon) $ であり、二次的成長下での特殊な速度から回復された。
• 勾配降下法の一般速度は $ O(\|x_0 - x^*\|^2 / \epsilon^2) $ であり、既知の境界と一致し、鋭い成長下での速度から導出された。
• バンドル法の一般速度は $ O(\|x_0 - x^*\|^4 / \epsilon^3) $ であり、Kiwielの結果と対数的要因を除いて一致する。
• この拡張技術はあらゆる手法に一様に適用可能であり、アルゴリズムの変更を必要とせず、元の手法の構造を保持する。
• 導出された一般速度はタイトであり、既存の境界と一致しており、本手法の正しさと実用的有用性を確認する。
• この枠組みにより、研究者が解析中に成長バウンドを仮定しても、依然として有効で一般性のある収束保証を得られるようになる。