[論文レビュー] Making Gradient Descent Optimal for Strongly Convex Stochastic Optimization

Alexander Rakhlin, Ohad Shamir+1 more|arXiv (Cornell University)|Sep 26, 2011

Stochastic Gradient Optimization Techniques参考文献 9被引用数 548

ひとこと要約

この論文は、標準的な確率的勾配降下法（SGD）における平均化が、強い凸性および滑らかさを満たす確率的最適化問題では最適な O(1/T) 収束速度を達成することを示しているが、滑らかでない問題ではそのような性能を発揮しないことを示している。単純な修正——最後の αT ステップのみを平均化する——により、アルゴリズムのコア構造を変えることなく、最適な速度を回復できる。

ABSTRACT

Stochastic gradient descent (SGD) is a simple and popular method to solve stochastic optimization problems which arise in machine learning. For strongly convex problems, its convergence rate was known to be O(\log(T)/T), by running SGD for T iterations and returning the average point. However, recent results showed that using a different algorithm, one can get an optimal O(1/T) rate. This might lead one to believe that standard SGD is suboptimal, and maybe should even be replaced as a method of choice. In this paper, we investigate the optimality of SGD in a stochastic setting. We show that for smooth problems, the algorithm attains the optimal O(1/T) rate. However, for non-smooth problems, the convergence rate with averaging might really be Ω(\log(T)/T), and this is not just an artifact of the analysis. On the flip side, we show that a simple modification of the averaging step suffices to recover the O(1/T) rate, and no other change of the algorithm is necessary. We also present experimental results which support our findings, and point out open problems.

研究の動機と目的

• 標準的な SGD における平均化が、強い凸な確率的最適化問題に対して最適であるか、それとも既知の O(log T / T) の収束速度が解析の結果に起因するものかを特定すること。
• 滑らかでない問題における O(log T / T) の収束速度が、本質的なものか、解析が緩いことが原因かを調査すること。
• 滑らかでない設定で最適な O(1/T) の収束速度を回復するための、SGD に対する最小限の修正を同定すること。
• 実世界および合成データを用いた実験により理論的知見を検証すること。
• 滑らかでない設定における最後の反復およびさまざまな平均化手法の実用的性能を明確にすること。

提案手法

• オンラインからバッチへの変換を避けて、確率的設定下での SGD を直接分析する。
• 期待値における収束速度の上界を確立し、log(log T) 要素の程度まで高確率の境界へ拡張する。
• 修正された平均化方式を導入：全 T ステップではなく、最後の αT ステップ（α ∈ (0,1)）のみを平均化する。
• この末尾平均化方式が、滑らかでないが強い凸な問題において O(1/T) の収束速度を達成することを証明する。
• 滑らかさが、標準的な平均化がすでに O(1/T) の収束速度を達成することを保証する条件であることを示す。
• 滑らかでないヒンジ損失を伴うSVM目的関数を用いて、実データセット（ccat, cov1, astro-ph）上で実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 滑らかでない強い凸な確率的最適化問題における SGD と平均化の O(log T / T) 収束速度は、解析の結果に起因するものか、それともアルゴリズムの本質的なものか？
• RQ2 平均化ステップに対する単純な修正により、滑らかでない設定で最適な O(1/T) の収束速度を回復できるか？
• RQ3 目的関数が滑らかである場合、標準的な SGD と全平均化は O(1/T) の収束速度を達成するか？
• RQ4 滑らかでない問題において、最後の反復（w_T）と平均化された反復の性能はどのように比較されるか？
• RQ5 実世界のデータにおいて、全平均化、末尾平均化、最後の反復のうち、どの平均化戦略が実務で最も優れた性能を示すか？

主な発見

• 滑らかで強い凸な確率的最適化問題では、標準的な SGD と平均化が最適な O(1/T) の収束速度を達成する。
• 滑らかでないが強い凸な問題では、標準的な平均化は Ω(log T / T) の収束速度に達し、これはタイトであり、解析の結果に起因するものではない。
• 単純な修正——最後の αT ステップのみを平均化する——により、滑らかでない設定でも最適な O(1/T) の収束速度が回復される。
• 実験結果では、Sgd-α（末尾平均化）が Sgd-A（全平均化）を上回り、Sgd-L（最後の反復）も特に滑らかなケースではほぼ同等の性能を示す。
• 実際の滑らかでない問題において、最後の反復（w_T）は Θ(1/T) の収束速度を示すが、現在の理論では O(1/√T) の保証しかなく、理論的理解にギャップが存在する。
• 提案された末尾平均化方式は、標準的な SGD を超えるアルゴリズム的複雑性を必要とせず、最適な収束速度を達成する。