[論文レビュー] Towards Optimal One Pass Large Scale Learning with Averaged Stochastic Gradient Descent

Wei Xu|arXiv (Cornell University)|Jul 13, 2011

Stochastic Gradient Optimization Techniques参考文献 17被引用数 120

ひとこと要約

本稿では、大規模なデータセットに対して1回のパスで最適な収束を達成できる、平均化確率的勾配降下法（ASGD）の学習率スケジュールを提案する。これにより、漸近的性能に到達するためのサンプル数を顕著に削減できる。この手法は、最小限の計算オーバーヘッドで線形分類器において最先端の精度を達成し、テスト誤差と学習効率の両面で標準的なSGDや他の最適化アルゴリズムを上回る性能を発揮する。

ABSTRACT

For large scale learning problems, it is desirable if we can obtain the optimal model parameters by going through the data in only one pass. Polyak and Juditsky (1992) showed that asymptotically the test performance of the simple average of the parameters obtained by stochastic gradient descent (SGD) is as good as that of the parameters which minimize the empirical cost. However, to our knowledge, despite its optimal asymptotic convergence rate, averaged SGD (ASGD) received little attention in recent research on large scale learning. One possible reason is that it may take a prohibitively large number of training samples for ASGD to reach its asymptotic region for most real problems. In this paper, we present a finite sample analysis for the method of Polyak and Juditsky (1992). Our analysis shows that it indeed usually takes a huge number of samples for ASGD to reach its asymptotic region for improperly chosen learning rate. More importantly, based on our analysis, we propose a simple way to properly set learning rate so that it takes a reasonable amount of data for ASGD to reach its asymptotic region. We compare ASGD using our proposed learning rate with other well known algorithms for training large scale linear classifiers. The experiments clearly show the superiority of ASGD.

研究の動機と目的

• Aver化確率的勾配降下法（ASGD）が漸近的収束において最適であるにもかかわらず、大規模学習において実用的採用が進んでいないという問題に対処すること。
• 標準的な学習率選択のもとで、ASGDが漸近的領域に到達するのに現実的でないほど多くのサンプルを必要とする理由を特定すること。
• 有限サンプル解析を用いてASGDの収束を加速する学習率スケジュールの設計を支援すること。
• 提案された学習率スケジュールが、データを1回だけ通過するだけでASGDが優れたテスト精度に到達できることを実証的に検証すること。
• 新しい学習率スケジュールを用いたASGDが、精度、頑健性、および学習速度の観点で他の最先端のアルゴリズムを上回ることを示すこと。

提案手法

• ポリャクとジュディツキーのASGD手法の有限サンプル解析を提案し、漸近的収束領域に到達するためのサンプル数を定量化する。
• ヘッセ行列の最小固有値と正則化パラメータに依存するデータに依存する学習率スケジュールを導出する。これにより、合理的なサンプル数内で最適性能領域に到達できる。
• 最終モデル推定器として、$\bar{\theta}_t = \frac{1}{t}\sum_{j=1}^{t}\theta_j$ のSGDパラメータの累積平均を用いる。これは漸近的性質が優れているため。
• 凸で滑らかな損失関数（例：二乗ハードマージン損失）とL2正則化を用いた線形モデルに本手法を適用する。
• 実用的な学習率スケジュール $\gamma_t = \frac{\gamma_0}{1 + \gamma_0 \lambda_0 t}$ を採用する。ここで $\lambda_0$ は正則化パラメータ $\lambda$ で近似される。
• MNIST、RCV1、および大規模なテキストおよび画像分類タスクを含む、合成データおよび実世界のデータセットを用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 Averaged Stochastic Gradient Descent (ASGD) は、漸近的収束において最適であるにもかかわらず、最近の大きな規模の学習研究において限られた注目を浴びているのはなぜか？
• RQ2 標準的な学習率スケジュールのもとで、ASGDが漸近的性能領域に到達するのに通常どれくらいの訓練サンプルが必要か？
• RQ3 有限サンプル解析を用いて、より少ないサンプル数で最適領域への収束を加速する学習率スケジュールを設計できるか？
• RQ4 提案された学習率スケジュールを用いたASGDは、テスト誤差と学習効率の両面で他の最先端の最適化アルゴリズムを上回るか？
• RQ5 理論的仮定では滑らかさが要求されるが、ASGDは滑らかでない損失関数（例：ハードマージン損失）に対しても強い性能を発揮できるか？

主な発見

• 提案された学習率スケジュールにより、ASGDは合理的なサンプル数内で漸近的性能領域に到達でき、標準的な学習率と比較してデータ要件を顕著に削減できる。
• 新しい学習率スケジュールを用いたASGDは、MNIST9、RCV1、および合成データを含むすべての評価済みデータセットで最低のテスト誤差率を達成し、1回のデータパス後には他のアルゴリズムをしばしば上回る。
• ASGDは、SGD、SGDQN、oLBFGSなどの他の手法と比較して、より安定した性能曲線を示し、変動が小さい。
• 他のアルゴリズムがまだ低い性能を示しているのに対し、本手法は1回のデータパスで最先端の精度に到達する。
• 理論的仮定では滑らかな損失関数を要求するが、提案された学習率スケジュールを用いたASGDは、滑らかでないハードマージン損失に対しても良好な性能を発揮し、より広範な適用可能性を示している。
• 1パスあたりの学習時間は他の手法と同等であるため、1パス要件を考慮すると、ASGDは他のアルゴリズムよりも高い精度に早く到達できる。