[論文レビュー] Katyusha Acceleration for Convex Finite-Sum Compositional Optimization

Yibo Xu, Yangyang Xu|arXiv (Cornell University)|Oct 24, 2019

Stochastic Gradient Optimization Techniques参考文献 33被引用数 5

ひとこと要約

本稿は、ミニバッチサンプリングとバリアンス低減を活用して収束速度を向上させる、凸有限和合成最適化問題（COPs）のKatyusha加速アルゴリズムを導入する。強凸COPsに対しては、複雑さの依存性が$\kappa^{2.5}$の線形収束を確立し、従来の最良の$\kappa^3$を上回り、凸COPsに対しては$\varepsilon^{-2.5}$の複雑さを達成し、$\varepsilon^{-3}$から改善される。

ABSTRACT

Structured problems arise in many applications. To solve these problems, it is important to leverage the structure information. This paper focuses on convex problems with a finite-sum compositional structure. Finite-sum problems appear as the sample average approximation of a stochastic optimization problem and also arise in machine learning with a huge amount of training data. One popularly used numerical approach for finite-sum problems is the stochastic gradient method (SGM). However, the additional compositional structure prohibits easy access to unbiased stochastic approximation of the gradient, so directly applying the SGM to a finite-sum compositional optimization problem (COP) is often inefficient. We design new algorithms for solving strongly-convex and also convex two-level finite-sum COPs. Our design incorporates the Katyusha acceleration technique and adopts the mini-batch sampling from both outer-level and inner-level finite-sum. We first analyze the algorithm for strongly-convex finite-sum COPs. Similar to a few existing works, we obtain linear convergence rate in terms of the expected objective error, and from the convergence rate result, we then establish complexity results of the algorithm to produce an $\varepsilon$-solution. Our complexity results have the same dependence on the number of component functions as existing works. However, due to the use of Katyusha acceleration, our results have better dependence on the condition number $κ$ and improve to $κ^{2.5}$ from the best-known $κ^3$. Finally, we analyze the algorithm for convex finite-sum COPs, which uses as a subroutine the algorithm for strongly-convex finite-sum COPs. Again, we obtain better complexity results than existing works in terms of the dependence on $\varepsilon$, improving to $\varepsilon^{-2.5}$ from the best-known $\varepsilon^{-3}$.

研究の動機と目的

• 2段階の有限和構造を持つ凸有限和合成最適化問題（COPs）のための効率的な1次元アルゴリズムの設計。
• 有限和および合成構造を活用して、標準的な確率的勾配法を上回る収束速度の向上。
• 既存手法よりも条件数$\kappa$および精度$\varepsilon$に依存する部分を改善すること。
• 元来非合成問題を対象としていたKatyusha加速を、有限和合成設定に拡張すること。
• 強凸および凸の場合の勾配およびヤコビアン評価回数に基づいた複雑さの境界の確立。

提案手法

• 外側および内側の両レベルからミニバッチサンプリングを用いたKatyusha加速を適用する、強凸COPsのための新規アルゴリズムを提案。
• 2段階の有限和構造に特化したバリアンス低減技術を用いて、収束の安定化と加速を実現。
• Katyushaにインspiredされた新規なモーメンタムベースの更新則を導入し、外挿と再帰的勾配追跡を統合。
• 凸COPsに対しては、適応的ステップサイズを用いた強凸アルゴリズムをサブルーチンとして利用し、収束の改善を達成。
• $F_i$および$G_j$の両成分に対してミニバッチサンプリングを適用し、バリアンスの低減と計算効率の向上を実現。
• 滑らかさおよび強凸性に関する標準的仮定の下で、期待される目的関数誤差の減衰を分析し、理論的複雑さの境界を導出。

実験結果

リサーチクエスチョン

• RQ1 2段階構造を持つ有限和合成最適化問題に、Katyusha加速が効果的に適応可能か？
• RQ2 強凸COPsにおいて、アルゴリズムの複雑さが条件数$\kappa$に依存する最適な関係は何か？
• RQ3 従来手法の$\varepsilon^{-3}$の境界を超えて、凸COPsの収束速度を改善可能か？
• RQ4 両レベルからのミニバッチサンプリングは、アルゴリズムの収束性および複雑さにどのように影響するか？
• RQ5 ε-解を達成するための勾配およびヤコビアン評価回数としての理論的複雑さは何か？

主な発見

• 強凸有限和COPsに対して、$\kappa^{2.5}$の依存性を有する線形収束を達成し、既存の最良の$\kappa^3$を上回る。
• 凸COPsの収束速度は$\varepsilon^{-2.5}$であり、従来の最良の$\varepsilon^{-3}$を上回る。
• 既存手法と同様に、成分関数の数$n_1, n_2$に依存するが、$\kappa$および$\varepsilon$において改善が達成される。
• 複数回の試行およびパrameter設定において、VRSC-PG、C-SAGA、GC-SAGA、SCVRGと比較して、安定的かつ優れた性能を示す数値結果が得られた。
• 有限和構造を損なわず、ミニバッチサンプリングとKatyusha風モーメンタムの両方を活用することで、改善された複雑さを達成。
• 理論的分析により、改善された複雑さは、合成設定における効果的なバリアンス低減とモーメンタム加速に起因することが確認された。