[論文レビュー] L4: Practical loss-based stepsize adaptation for deep learning

Michal Rolínek, Georg Martius|arXiv (Cornell University)|Feb 14, 2018

Stochastic Gradient Optimization Techniques参考文献 16被引用数 27

ひとこと要約

この論文は、勾配降下法における実用的な損失に基づくステップサイズ適応法L4を提案する。L4は、各ミニバッチで損失関数の線形近似を用いて、動的に学習率を調整する。勾配推定と更新方向を分離し、線形化下での損失を最小化するステップサイズを解くことで、迅速かつ適応的な学習率の変更が可能となる。その結果、複数のアーキテクチャとデータセットにおいて、デフォルトのハイパーパrameterを用いたAdamやMomentum SGDよりも一貫した性能向上が得られ、計算コストの増加なしに実現される。

ABSTRACT

We propose a stepsize adaptation scheme for stochastic gradient descent. It operates directly with the loss function and rescales the gradient in order to make fixed predicted progress on the loss. We demonstrate its capabilities by conclusively improving the performance of Adam and Momentum optimizers. The enhanced optimizers with default hyperparameters consistently outperform their constant stepsize counterparts, even the best ones, without a measurable increase in computational cost. The performance is validated on multiple architectures including dense nets, CNNs, ResNets, and the recurrent Differential Neural Computer on classical datasets MNIST, fashion MNIST, CIFAR10 and others.

研究の動機と目的

• 勾配降下法における実用的で自動的なステップサイズ適応スキームを開発し、手動によるハイパーパrameterチューニングへの依存を低減すること。
• ミニバッチ学習におけるノイズが多く変動する損失推定の課題に対処し、各イテレーションで再び学習率を計算すること。
• 変化する損失の地形に効果的に応答できる、迅速かつ適応的な学習率の調整を可能にし、特に小規模バッチ環境で有効であることを目指すこと。
• 計算コストの増加なしに、多様な深層学習アーキテクチャとデータセットにおいて最適化性能を向上させること。
• 適応的学習率が、特にデフォルト設定下で、微調整された定常ステップサイズベースラインを上回ることを検証すること。

提案手法

• L4は、各イテレーションで線形化された損失を目標最小値L^minに達させるために必要なステップサイズηを解くことで、η = (L(θ) - L^min) / (g^T v) の式を用いてステップサイズを計算する。
• 勾配推定gと更新方向vを分離することで、勾配の大きさに依存せずに勾配降下の方向に焦点を当て、ステップサイズを独立して適応可能にする。
• 現在のバッチの損失と勾配に直接作用するため、過去の値の統計や記録を保持する必要がなく、バッチごとの学習率適応が可能になる。
• L4はメタアルゴリズムとして設計されており、AdamやMomentum SGDなどの任意の標準最適化手法と組み合わせて使用可能である。
• 目標最小損失L^minは、訓練中に観測された最小損失として推定され、最適化の現在の状態に適応する。
• アプローチはニュートン法やポリャクのルールにインspiredされているが、深層学習の確率的・ノイズ多き環境に適応して改良されている。

実験結果

リサーチクエスチョン

• RQ1 損失に基づく、バッチごとの学習率適応スキームは、多様なアーキテクチャとデータセットにおいて、デフォルトハイパーパrameterを用いた標準的最適化手法を一貫して上回ることができるか？
• RQ2 バッチ間で迅速に変化する動的ステップサイズ適応は、特に小規模バッチ環境において最適化性能を向上させるか？
• RQ3 L4は「最適化の床」——つまり、標準的手法が停滞する、悪条件な深層学習タスクにおいて損失をほぼゼロにまで低下させることができるか？
• RQ4 明示的な正則化チューニングなしに、一般化性能（テスト性能）の向上がどの程度達成されるか？
• RQ5 L4の性能向上は、最適化ダイナミクスの改善によるものか、それともベースライン手法におけるハイパーパラメータ感受性によるものか？

主な発見

• L4を適用したAdamおよびMomentum SGDは、評価されたすべてのデータセットとアーキテクチャで、定常ステップサイズを用いた対応するベースラインを上回った。
• ドロップアウト率p=0.7のFashion MNISTでは、L4 Adamが93.6±0.25%のテスト精度を達成し、最良のベースラインAdam（93.1±0.2%）を統計的に有意に上回った。
• MNISTでは、L4最適化手法が標準ベースラインを一貫して上回り、標準バッチサイズ64よりも小さいバッチサイズ（例：8, 16）でより良い結果を示した。
• 微分ニューラルコンピュータ（DNC）では、バッチサイズ8のL4 Momentum SGDが5回中4回の実行で収束したが、1回の実行で発散した。これは、極端に小規模バッチ設定における感受性を示している。
• 幅広いバッチサイズ範囲でロバスト性を示し、バッチサイズが小さくなるほど性能が向上した。これは、高分散損失推定に対処する能力を裏付けている。
• L4はMNISTおよび悪条件な回帰タスクにおいて、損失をほぼゼロにまで低下させ、標準手法が停滞する「最適化の床」を打ち破った。