[論文レビュー] Universal fast gradient method for stochastic composit optimization problems

Alexander Gasnikov, Yurii Nesterov|arXiv (Cornell University)|Apr 18, 2016

Sparse and Compressive Sensing Techniques参考文献 10被引用数 12

ひとこと要約

本稿では、凸および厳密凸な合成確率最適化問題に対する普遍的で高速な勾配法である三角法（TM）を導入する。この手法は反復毎に1回の射影のみを必要とする。TMを拡張して普遍的三角法（UTM）および確率的普遍的三角法（SUTM）を構築し、最適収束速度を達成するとともに、既知の下界と一致させ、構造的仮定のもとで性能が向上する。

ABSTRACT

We propose a new simple variant of Fast Gradient Method that requires only one projection per iteration. We called this method Triangle Method (TM) because it has a corresponding geometric description. We generalize TM for convex and strictly convex composite optimization problems. Then we propose Universal Triangle Method (UTM) for convex and strictly convex composite optimization problems (see Yu. Nesterov, Math. Program. 2015. for more details about what is Universal Fast Gradient Method). Finally, based on mini-batch technique we propose Stochastic Universal Triangle Method (SUTM). SUTM can be applied to stochastic convex and strictly convex composite optimization problems. Denote, that all the methods TM, UTM, SUTM are continuous on strictly convexity parameter and all of them reach known lower bounds. With additional assumption about the structure of the problems these methods work better than the lower bounds.

研究の動機と目的

• 反復毎の計算コストを最小限に抑える確率的合成最適化のための高速勾配法を開発すること。
• 三角法（TM）を凸および厳密凸な合成問題に一般化すること。
• 強い凸性やリプシッツ定数などの事前知識が得られない状況でも適応可能な普遍的バージョン（UTM）を設計すること。
• ミニバッチ技術を用いて確率的設定に拡張し、大規模問題に適したSUTMを導出すること。
• 既知の理論的下界と一致する収束速度を達成し、構造的仮定のもとでそれらを上回る性能を発揮すること。

提案手法

• 三角法（TM）は幾何的直感に基づくもので、1反復あたり1回の射影で十分な3点更新スキームを採用する。
• UTMは、強い凸性やリプシッツ定数の事前知識を必要としない適応的ステップサイズ戦略を組み込むことで、TMを一般化する。
• SUTMはミニバッチを用いて勾配を推定することでUTMフレームワークを確率的設定に適用し、分散を低減する。
• 収束を加速するために、巧みに設計された外挿ステップを含むモーメンタム型更新を用いる。
• すべての手法は強い凸性パラメータに関して連続であることが証明され、問題クラス全体にわたり安定した挙動を示す。
• 理論的分析により、決定的および確率的設定の両方で、既知の下界と一致する収束速度が確立された。

実験結果

リサーチクエスチョン

• RQ1 1反復あたり1回の射影で十分な収束速度を維持しつつ、合成最適化のための高速勾配法を設計できるか？
• RQ2 強い凸性やリプシッツ定数といった未知の問題パラメータに適応できる普遍的手法を構築できるか？
• RQ3 ミニバッチ勾配推定を用いることで、確率的設定において最適収束速度を達成できるか？
• RQ4 追加の構造的仮定（例：滑らかさや特定の問題幾何）のもとで、既知の下界を上回る性能を発揮できるか？
• RQ5 強い凸性パラメータが未知または変動する場合、この手法の理論的収束挙動はいかなるものか？

主な発見

• 提案された三角法（TM）は、凸および厳密凸な合成問題に対して、1反復あたり1回の射影のみで最適収束速度を達成する。
• 普遍的三角法（UTM）は、問題パラメータの事前知識がなくても同じ最適収束速度を達成でき、普遍的に適用可能である。
• 確率的普遍的三角法（SUTM）は、確率的合成最適化問題における既知の下界と一致する。
• 滑らかさや特定の問題幾何といった追加の構造的仮定のもとで、この手法は理論的下界を上回る性能を発揮する。
• すべての手法は強い凸性パラメータに関して連続であり、問題の条件が変化しても安定した性能を発揮することが保証される。
• 理論的分析により、TM、UTM、SUTMの収束速度が最適であり、既知の情報理論的下界と一致することが確認された。