[論文レビュー] Accelerated Methods for $\alpha$-Weakly-Quasi-Convex Problems

Sergey Guminov, Alexander Gasnikov|arXiv (Cornell University)|Oct 2, 2017

Stochastic Gradient Optimization Techniques参考文献 6被引用数 4

ひとこと要約

本稿では、$α$-弱い擬凸最適化のための加速された一次順序法を導入し、逐次部分空間最適化（SESOP）法とNemirovskiの共役勾配法が、従来の知られていたよりも弱い条件下でも最適収束速度を達成することを示している。主な貢献は、滑らかさや強い凸性のパラメータを事前に知らなくても、これらの手法の最適反復複雑度を証明することにある。

ABSTRACT

We provide a quick overview of the class of $\\alpha$-weakly-quasi-convex problems and its relationships with other problem classes. We show that the previously known Sequential Subspace Optimization method retains its optimal convergence rate when applied to minimization problems with smooth $\\alpha$-weakly-quasi-convex objectives. We also show that Nemirovski's conjugate gradients method of strongly convex minimization achieves its optimal convergence rate under weaker conditions of $\\alpha$-weak-quasi-convexity and quad\\-ratic growth. Previously known results only capture the special case of 1-weak-quasi-convexity or give convergence rates with worse dependence on the parameter $\\alpha$.

研究の動機と目的

• $α$-弱い擬凸問題に対して最適収束速度を達成する加速された一次順序法の開発。
• 既存の最適法（SESOPおよび共役勾配）の適用範囲を、強く凸または凸な設定を超えて拡張すること。
• これらの手法が、リプシッツ定数や強い凸性パラメータといった入力パラメータを必要とせずに収束することを示すこと。
• 知られている下界との比較を通じて、収束境界の理論的タイトネスを確立すること。
• 通信効率の良い部分問題の解法を通じて、分散環境および高次元設定における実用的利点の探索。

提案手法

• SESOP法は、探索方向によって定義される2次元または3次元部分空間内で、線形探索に類似したステップを実行し、各反復で補助部分問題を正確に解く。
• この手法は、$α$-弱い擬凸性と二次的成長条件を活用し、最適反復複雑度を保証するグローバル収束を実現する。
• Nemirovskiの共役勾配法は、リプシッツ連続勾配と二次的成長を満たす$α$-弱い擬凸関数へと一般化される。
• 収束解析は、低次元部分問題の正確な解法に依存しており、勾配オракル呼び出しの観点から理論的に最適性を保証する。
• このアプローチは、問題の再定式化と各反復における低次元双対部分問題の解法により、分散最適化に適応される。
• 数値実験では、SESOPとネステロフの加速勾配降下法、およびリセット付き共役勾配法を比較し、部分問題評価が主問題の勾配計算よりも著しく高速な場合にSESOPがより速い収束を示すことを確認した。

実験結果

リサーチクエスチョン

• RQ1 加速された一次順序法は、$α$-弱い擬凸問題に対して最適収束速度を達成できるか？
• RQ2 SESOP法は、滑らかさや強い凸性パラメータを必要とせずに最適収束を維持できるか？
• RQ3 Nemirovskiの共役勾配法は、二次的成長を満たす$α$-弱い擬凸関数へと拡張可能か？
• RQ4 SESOPの反復複雑度は、この問題クラスの既知の下界とどのように比較できるか？
• RQ5 SESOPは高次元または分散環境において、実用的な利点を示せるか？

主な発見

• SESOP法は、勾配のリプシッツ定数を事前に知らなくても、$α$-弱い擬凸関数に対して最適収束速度を達成する。
• Nemirovskiの共役勾配法の収束速度は、$α$-弱い擬凸性と二次的成長の下で最適であり、強凸性を超えてその適用範囲を拡張する。
• SESOPの理論的複雑度境界は、[7]で知られている最悪ケース下界と一致しており、数値定数を除いて最適性が確認された。
• 数値実験では、部分問題評価が主問題の勾配計算よりも著しく高速な場合、SESOPはネステロフの加速勾配降下法やリセット付き共役勾配法を上回る収束性能を示した。
• 分散環境では、各SESOP反復で1回の通信ラウンド後に低次元双対部分問題を解くことで、通信複雑度が低減される。
• この手法は強い凸性パラメータに適応可能であり、標準的な加速手法とは異なり、この値を入力として必要としない。