[論文レビュー] Speed learning on the fly

Pierre-Yves Massé, Yann Ollivier|arXiv (Cornell University)|Nov 8, 2015

Stochastic Gradient Optimization Techniques参考文献 8被引用数 5

ひとこと要約

この論文は、学習率をリアルタイムで最適化するハイパーパramータとして扱うことで、確率的勾配降下法（SGD）および関連アルゴリズム向けのオンラインで適応可能なステップサイズ手法を提案する。学習率自体に対する勾配上昇を、最適化経路に沿った逆誤差伝搬を用いて効率的に計算することで、完全な逆伝播を必要とせずに自動的に適応可能であり、最小限のハイパーパramータチューニングで複数のモデルにおいて優れた性能を達成する。

ABSTRACT

The practical performance of online stochastic gradient descent algorithms is highly dependent on the chosen step size, which must be tediously hand-tuned in many applications. The same is true for more advanced variants of stochastic gradients, such as SAGA, SVRG, or AdaGrad. Here we propose to adapt the step size by performing a gradient descent on the step size itself, viewing the whole performance of the learning trajectory as a function of step size. Importantly, this adaptation can be computed online at little cost, without having to iterate backward passes over the full data.

研究の動機と目的

• オンライン確率的勾配降下法における学習率の手動ハイパーパramータチューニングへの感受性を軽減すること。
• 訓練中に累積目的関数の性能を最大化するようにステップサイズを自動的に適応する手法を開発すること。
• 全データセットに対する逆伝播を必要とせず、オンラインかつ低コストで学習率を適応可能にすること。
• SVRGやSAGAなどの高度な変種に対しても応用可能であり、収束性とロバスト性を向上させること。

提案手法

• 学習率をハイパーパramータとして定式化し、ステップサイズに関する累積目的関数の微分を用いて、その上昇勾配を実行する。
• 訓練経路に沿ってヘッセ行列と勾配項の再帰的更新を用いて、∂/∂η ℓₜ(θₜ(η)) の微分を計算する。
• [SZL13] のインスピレーションを受けて、メモリ重み付き勾配更新を実用的な近似として導入し、最近のステップサイズを優先することで計算コストを低減する。
• SVRGへの拡張では、分散低減勾配推定を考慮した更新ルールに適応する。
• 更新の安定性と数値的性質の向上を図るため、ステップサイズの対数パラメータライゼーションを採用する。
• パラメータ更新の系列に沿った連鎖律を用いて最適化経路を介して勾配を計算することで、完全な逆伝播を回避する。

実験結果

リサーチクエスチョン

• RQ1 完全な逆伝播を伴わず、手動チューニングなしにオンライン学習中に学習率を自動的に最適化できるか？
• RQ2 オンライン設定において、ステップサイズに関する累積目的関数の勾配をどのように効率的に計算できるか？
• RQ3 学習率に対する勾配上昇によるステップサイズの適応的選択は、異なるモデルやアルゴリズムにおいて収束性と性能を向上させるか？
• RQ4 この手法は、SVRGのような分散低減型確率的最適化手法へも拡張可能か？
• RQ5 メモリ重み付き勾配更新の使用が、適応的学習率の安定性と性能に与える影響は何か？

主な発見

• 提案手法 SG/SG は、1次元ガウス分布、ベルヌーイ分布、50次元線形回帰を含む全テストモデルで、固定学習率の標準的SGDよりも顕著に優れた性能を達成した。
• 適応的学習率スキームにより、初期ハイパーパラメータの選択に対する感受性が低減し、手動チューニングなしで安定した性能を発揮した。
• SVRGに対しても成功裏に拡張され、固定ステップサイズのバージョンと比較して収束性と安定性が向上した。
• 理論的分析により、更新ルールがステップサイズ系列空間における真の勾配上昇を近似していることが確認された。
• メモリ重み付きバージョン（SG/AG）は、最近のステップサイズ調整を優先することで、より速い適応とより高い最終的目的関数値を達成し、性能が向上した。
• 実験的結果から、固定学習率SGDおよびAdaGradと比較して、累積目的関数値と収束速度の両面で、適応的手法が優れていることが示された。