[論文レビュー] L-SVRG and L-Katyusha with Arbitrary Sampling

Xun Qian, Zheng Qu+1 more|arXiv (Cornell University)|Jun 4, 2019

Stochastic Gradient Optimization Techniques参考文献 20被引用数 11

ひとこと要約

本稿は、任意のサンプリングを伴うL-SVRGおよびL-Katyushaを導入し、一般のサンプリングスキーム（非一様およびリプレースメント付きサンプリングを含む）における収束解析を可能にする、新たな期待平滑性条件を提案する。この手法は、特定の期待ミニバッチサイズにおいて線形速度向上を達成し、期待分離可能な過近似（ESO）との関連を活用してデータのスパarsityを効果的に活用する。非凸および非強い凸設定への応用拡張が可能であり、先行のループレス手法を特別なケースとして回復する。

ABSTRACT

We develop and analyze a new family of {\em nonaccelerated and accelerated loopless variance-reduced methods} for finite sum optimization problems. Our convergence analysis relies on a novel expected smoothness condition which upper bounds the variance of the stochastic gradient estimation by a constant times a distance-like function. This allows us to handle with ease {\em arbitrary sampling schemes} as well as the nonconvex case. We perform an in-depth estimation of these expected smoothness parameters and propose new importance samplings which allow {\em linear speedup} when the expected minibatch size is in a certain range. Furthermore, a connection between these expected smoothness parameters and expected separable overapproximation (ESO) is established, which allows us to exploit data sparsity as well. Our results recover as special cases the recently proposed loopless SVRG and loopless Katyusha.

研究の動機と目的

• ループレス分散減少手法の任意のサンプリングスキームにおける統一的収束解析フレームワークの構築を目的とする。
• L-SVRGおよびL-Katyushaの適用範囲を、強い凸および滑らかである場合に限らず、非強い凸および非凸問題へと拡張することを目的とする。
• 期待平滑性パラメータと期待分離可能な過近似（ESO）との間の関係を確立し、データのスパarsityを活用することを目的とする。
• 期待ミニバッチサイズが好適な範囲にある場合に線形速度向上を達成する新たな重要度サンプリング戦略の導出を目的とする。
• 提案されたフレームワークにおいて、既存のループレス手法（L-SVRGおよびL-Katyusha）が特別なケースとして回復され、一般化されることを目的とする。

提案手法

• 期待平滑性条件を新たに提案し、その条件が確率的勾配の分散を定数倍の距離関数で抑えられることを保証することで、任意のサンプリングにおける解析を可能にする。
• リプレースメント付きサンプリングを含む任意のサンプリングにおけるL-SVRGおよびL-Katyushaの統一的収束解析を導入し、期待平滑性パラメータの推定を用いる。
• 期待ミニバッチサイズが特定の範囲内にある場合に線形速度向上を保証する新たな重要度サンプリング戦略を導出する。
• 期待平滑性パラメータと期待分離可能な過近似（ESO）との間の明示的関係を確立し、スパースまたは構造的データセットにおけるデータスパarsityの効率的活用を可能にする。
• 再帰的更新構造を活用して、各反復でO(log T)の更新複雑度を維持するL-SVRGおよびL-Katyushaの効率的実装を設計する。
• 遅延更新メカニズムと再帰的平均化を用いて、外側のループを排除しながら収束速度を維持し、実用的でロバストでシンプルな性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非一様およびリプレースメント付きサンプリングを含む任意のサンプリングにおけるループレス分散減少手法の統一的収束解析は可能か？
• RQ2 期待平滑性パラメータは、非凸および非強い凸問題における収束保証を実現するために果たす役割は何か？
• RQ3 L-SVRGおよびL-Katyushaにおいて、期待ミニバッチサイズが好適な範囲にある場合に線形速度向上を達成するように、重要度サンプリングをどのように設計できるか？
• RQ4 期待平滑性とESOとの関係は、スパースデータにおいてどのようにより良い性能を実現するか？
• RQ5 提案されたフレームワークは、L-SVRGおよびL-Katyushaのような既存のループレス手法を特別なケースとして回復し、一般化できるか？

主な発見

• 提案された期待平滑性条件により、非一様およびリプレースメント付きサンプリングを含む任意のサンプリングにおけるL-SVRGおよびL-Katyushaの収束解析が可能となり、従来の均一サンプリングに限られた研究を越える。
• 期待ミニバッチサイズが好適な範囲にある場合に線形速度向上を達成する新たな重要度サンプリング戦略が導出され、実際の収束速度の向上が実証された。
• 期待平滑性とESOとの関係を確立することで、アルゴリズム構造を変更せずにスパースデータセットにおける収束速度の向上が可能になった。
• 非強い凸および非凸ケースにおける理論的収束レートが確立され、従来、ループレス手法においてこのような解析が存在しなかった分野のギャップを埋めた。
• 提案されたフレームワークは、以前に提案されたループレスSVRGおよびループレスKatyushaを特別なケースとして回復し、その一般性と従来の結果との整合性を検証した。
• 数値実験により、非一様サンプリングおよびスパースデータ環境下でも、標準実装に比べて収束速度とロバスト性の両面で優れた性能を示した。