[論文レビュー] Accelerating Stochastic Gradient Descent via Online Learning to Sample

Guillaume Bouchard, Théo Trouillon+2 more|arXiv (Cornell University)|Jun 30, 2015

Advanced Bandit Algorithms Research参考文献 20被引用数 7

ひとこと要約

本稿では、訓練例の最適なサンプリング分布を段階的に学習することで、確率的勾配降下法（SGD）の収束速度を向上させるオンライン学習手法である、適応的重み付きSGD（AW-SGD）を提案する。勾配の分散をリアルタイムで最小化することで、データの重要性に関する事前知識が不要な状況においても、画像分類、行列分解、強化学習の分野で収束速度が向上する。

ABSTRACT

Stochastic Gradient Descent (SGD) is one of the most widely used techniques for online optimization in machine learning. In this work, we accelerate SGD by adaptively learning how to sample the most useful training examples at each time step. First, we show that SGD can be used to learn the best possible sampling distribution of an importance sampling estimator. Second, we show that the sampling distribution of a SGD algorithm can be estimated online by incrementally minimizing the variance of the gradient. The resulting algorithm - called Adaptive Weighted SGD (AW-SGD) - maintains a set of parameters to optimize, as well as a set of parameters to sample learning examples. We show that AW-SGD yields faster convergence in three different applications: (i) image classification with deep features, where the sampling of images depends on their labels, (ii) matrix factorization, where rows and columns are not sampled uniformly, and (iii) reinforcement learning, where the optimized and explore policies are estimated at the same time.

研究の動機と目的

• 訓練データのための適応的サンプリング戦略を学習することで、確率的勾配降下法（SGD）の収束速度を向上させること。
• サンプリング分布のオンライン最適化を通じて、確率的勾配推定の分散を最小化すること。
• データの重要性に関する事前知識がなくても、オンライン学習のシナリオでより速い収束を実現すること。
• 最適化とサンプリングのプロセスを統合した1つの適応的フレームワークに統合すること。
• 深層学習や強化学習を含む多様な応用分野における有効性を示すこと。

提案手法

• AW-SGDは、サンプリング分布を学習可能なパラメータセットとして定式化し、モデルパラメータと並列に最適化する。
• オンライン学習を用いて、確率的勾配推定の分散を段階的に最小化する。
• アルゴリズムは2つのパラメータセットを維持する：1つはモデル重み、もう1つは訓練例に対するサンプリング重み。
• 各タイムステップで、勾配分散低減の目的関数に基づいて、サンプリング分布を更新する。
• SGDが最適な重要度サンプリング分布を学習できるという事実を活用する。
• データの重要性が変動する環境において、教師あり学習および強化学習の両設定に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 オンライン最適化において、サンプリング分布のオンライン学習はSGDの収束速度を向上させ得るか？
• RQ2 勾配分散低減に基づく適応的サンプリングは、一様サンプリングや固定重要度サンプリングと比較してどのように異なるか？
• RQ3 画像分類や行列分解といった多様な機械学習タスクに、同じフレームワークを適用可能か？
• RQ4 モデルとサンプリングパラメータを同時に最適化することで、分離した学習よりも速い収束が達成できるか？
• RQ5 強化学習において、同時的な方策と価値関数推定を伴う状況でも、AW-SGDは効果的に適用可能か？

主な発見

• AW-SGDは、ラベルの情報量に基づいて例を適応的にサンプリングすることで、深層特徴を用いた画像分類において、標準的なSGDよりも速い収束を達成する。
• 行列分解においては、勾配分散に与える寄与度に基づいて、行と列を非一様にサンプリングすることで収束が向上する。
• 強化学習では、適応的サンプリングを通じて方策と探索戦略を共同で最適化することで、学習が加速する。
• リアルタイムで勾配分散を低減することで、より安定的かつ高速な最適化が実現する。
• データの重要性に関する事前知識が不要な状況においても、すべての評価対象アプリケーションでベースライン手法を上回る性能を示す。
• 計算オーヘッドは低く抑えられつつ、収束速度が著しく向上する。