[論文レビュー] Don't Jump Through Hoops and Remove Those Loops: SVRG and Katyusha are Better Without the Outer Loop

Dmitry Kovalev, Samuel Horváth+1 more|arXiv (Cornell University)|Jan 24, 2019

Stochastic Gradient Optimization Techniques参考文献 28被引用数 11

ひとこと要約

本稿では、外側のループを、小さな確率で全勾配計算をトリガーする確率的コイン投げに置き換えることで、SVRGおよびKatyushaのループレスな変種を提案する。新しい手法は、条件数の知識を必要とせず、元の手法と同等の理論的収束速度を達成しており、数値実験ではより優れたかつより頑健な実用的性能を示している。

ABSTRACT

The stochastic variance-reduced gradient method (SVRG) and its accelerated variant (Katyusha) have attracted enormous attention in the machine learning community in the last few years due to their superior theoretical properties and empirical behaviour on training supervised machine learning models via the empirical risk minimization paradigm. A key structural element in both of these methods is the inclusion of an outer loop at the beginning of which a full pass over the training data is made in order to compute the exact gradient, which is then used to construct a variance-reduced estimator of the gradient. In this work we design {\em loopless variants} of both of these methods. In particular, we remove the outer loop and replace its function by a coin flip performed in each iteration designed to trigger, with a small probability, the computation of the gradient. We prove that the new methods enjoy the same superior theoretical convergence properties as the original methods. However, we demonstrate through numerical experiments that our methods have substantially superior practical behavior.

研究の動機と目的

• SVRGおよびKatyushaにおける外側のループを排除し、各反復で全勾配計算を必要とする従来の構造を解消すること。
• 小さな確率 p でコイン投げを行う確率的メカニズムを設計し、全勾配計算をトリガーすることで、決定的外側ループを置き換えること。
• 条件数の事前知識がなくても、ループレスな変種が元の手法と同等の理論的収束速度を維持することを証明すること。
• 実験を通じて、ループレス手法が、そのループありの対応手法よりも実用的により頑健で速い性能を示すことを示すこと。
• コイン投げの確率 p の最適選択の理論的基盤を提供し、p = 1/n が条件数推定を必要とせずに最良の収束速度を達成することを示すこと。

提案手法

• SVRGおよびKatyushaの決定的外側ループを、確率的メカニズムに置き換える：各反復で確率 p で全勾配を計算し、それを使って分散低減推定器を構築する。
• 元のSVRGと同一の分散低減メカニズムを使用する：g^k = ∇f_i(x^k) - ∇f_i(w^k) + ∇f(w^k) とし、不偏性を保ちながら時間とともに分散を減少させる。
• 確率 p を用いたコイン投げを導入し、全勾配計算をトリガーする。p は、良好に条件付けられた問題では [1/n, μ/L] の区間から選ぶ。
• ループレスなSVRGが、標準的なSVRGと同等の O((n + L/μ) log(1/ε)) の反復複雑度を達成することを証明し、p = 1/n のとき最適性能を示す。
• 負のモーメンタムを用いたKatyushaへのループレス設計を拡張し、加速された収束率 O((n + √(nL/μ)) log(1/ε)) が保持されることを示す。
• 1回の反復あたりの全勾配評価回数の期待値が O(1 + pn) であることを分析し、p = Θ(1/n) を選ぶと総合的複雑度が最適化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 SVRGおよびKatyushaにおける外側のループを、収束速度や頑健性に損なわれることなく排除できるか？
• RQ2 コイン投げによる全勾配計算のトリガーという確率的メカニズムが、元の二重ループ構造と同等の理論的収束を達成できるか？
• RQ3 条件数の事前知識がなくても、ループレスな変種がSVRGおよびKatyushaと同等の速度で収束できるか？
• RQ4 コイン投げの確率 p の選択が、ループレス手法の実用的性能にどのように影響するか？
• RQ5 多様なデータセットおよび正則化設定において、ループレスな変種は、そのループありの対応手法よりも頑健で速いか？

主な発見

• 条件数 μ/L を事前に知らない状態でも、ループレスなSVRGは、標準的なSVRGと同等の O((n + L/μ) log(1/ε)) の反復複雑度を達成する。
• ループレスなSVRGでは、コイン投げの確率を p = 1/n に設定することで最適な収束速度が達成され、これは条件数推定を必要としない最初の結果である。
• ループレスなKatyushaは、加速された収束率 O((n + √(nL/μ)) log(1/ε)) を維持し、元の手法の理論的性能と一致する。
• 数値実験では、L-SVRGが複数のデータセットで標準的なSVRGを常に上回り、一部のケースでは数個のオーダーの高速化を達成している。
• L-Katyushaは、標準的なKatyushaと同等以上に性能を発揮し、特定の状況では顕著に高速化され、p の選択に対して頑健であることが示された。
• ループレス手法はハイパーパrameterの選択に対してより頑健である：最悪のループレスバージョンですら、最良のループありバージョンを上回っている。