[論文レビュー] About accelerated randomized methods

Alexander Gasnikov, Pavel Dvurechensky+1 more|arXiv (Cornell University)|Aug 10, 2015

Stochastic Gradient Optimization Techniques参考文献 23被引用数 7

ひとこと要約

本稿では、新しいリスタート技法を用いて、最適なSIGMA法から非加速型ランダム化座標降下法および確率的1階最適化法を導出することにより、加速型ランダム化最適化手法の統一的枠組みを確立する。さらに、双対解の回復が可能で、条件付き最適化への一般化やネステロフのUniversal法の拡張が可能な、新たなカップリングに基づく座標降下法の加速手法を提案する。

ABSTRACT

We show how one can obtain nonaccelerated randomized coordinate descent method (Yu. Nesterov, 2010) and nonaccelerated method of randomization of sum-type functional (Le Roux-Schmidt-Bach, 2012) from the optimal method for the stochastic optimization problem (SIGMA, Devolder-Glineur-Nesterov-Dvurechensky-Gasnikov, 2014). The main trick is a special restart technique. We considered this trick to be usefull in others contexts. We consider only strongly convex case. We show that accelerated variants of this methods seems to be nontrivial in this context. That is, it is hard (perhaps impossible) to obtain accelerated variants using the same trick. We also propose new approach for accelerated coordinate descent methods. This approach is based on the coupling technique (Allen-Zhu-Orrechia, 2015) and allows us: to generalize accelerated coordinate descent methods for conditional optimization problems, to obtain the dual solution due to the primal-dual nature, to extend Universal method (Yu. Nesterov, 2013) to accelerated coordinate descent methods etc.

研究の動機と目的

• 最適なSIGMA法から非加速型ランダム化手法（例：座標降下法、和型関数的ランダム化）を統一的に導出すること。
• 同じリスタート技法が強凸設定において加速型バージョンを生成できるかどうかを調査すること。
• 構造的性質が向上した、新しいカップリングに基づく座標降下法の加速手法を開発すること。
• 原双対カップリングを用いてネステロフ（2013）のUniversal法を座標降下法に拡張すること。
• 提案された枠組みを通じて双対解の計算を可能にし、条件付き最適化問題を扱えるようにすること。

提案手法

• 特定のリスタート技法を用いて、SIGMA法から非加速型ランダム化座標降下法および和型関数的手法を導出する。
• アレン＝ズーとオレチア（2015）のカップリング技法を応用し、加速型座標降下法アルゴリズムを構築する。
• 自然に双対解を生成するプライマル・デュアルフレームワークを導入する。
• 制約をカップリングメカニズムに埋め込むことで、条件付き最適化問題へのアプローチを一般化する。
• ステップサイズの適応戦略を座標毎の更新に適合させることで、NesterovのUniversal法を座標降下法に拡張する。
• 理論的分析と収束保証の基盤として、強凸設定を用いる。

実験結果

リサーチクエスチョン

• RQ1 非加速型手法に用いられた同じリスタート技法を、強凸ケースにおいて加速型バージョンを生成するために拡張できるか？
• RQ2 同時に双対解を提供し、条件付き制約下でも収束を維持できる加速型座標降下法を設計することは可能か？
• RQ3 Universal法を座標降下設定に適応するには、どのようにしてその適応的かつ普遍的な性質を保持できるか？
• RQ4 カップリング技法が、ランダム化最適化における加速および双対解回復を可能にする役割は何か？
• RQ5 提案された枠組みは、既存のランダム化手法を一つの理論的基盤に統合できるか？

主な発見

• リスタート技法により、SIGMA法から非加速型ランダム化手法が成功裏に導出され、主要なアルゴリズム間の統一的リンクが確立された。
• 同じリスタート機構を用いて加速型バージョンを得るのは非自明であり、このアプローチが加速に限界を有することを示唆している。
• 提案されたカップリングに基づく手法は、プライマル・デュアル構造のおかげで双対解の計算が可能であり、これは標準的なランダム化手法には自然には存在しない特徴である。
• この枠組みは条件付き最適化問題に一般化可能であり、加速型座標降下法の枠組み内で制約付き最適化を可能にした。
• Universal法は座標降下法に成功裏に拡張され、適応的ステップサイズ行動と普遍的収束特性が保持された。
• 理論的分析により、強凸設定における既知の加速手法の収束レートと整合する収束レートが確認された。