[論文レビュー] Gradient descent revisited via an adaptive online learning rate

Mathieu Ravaut, Satya Krishna Gorti|arXiv (Cornell University)|Jan 27, 2018

Stochastic Gradient Optimization Techniques参考文献 11被引用数 5

ひとこと要約

本稿では、勾配降下法における適応的オンライン学習率を提案する。学習率は、損失関数の1階および2階微分を有限差分で近似することで、各反復で最適化される。この手法は、固定学習率のSGDやAdamと比較して初期収束が速いが、正則化がなければ過学習のリスクがある。

ABSTRACT

Any gradient descent optimization requires to choose a learning rate. With deeper and deeper models, tuning that learning rate can easily become tedious and does not necessarily lead to an ideal convergence. We propose a variation of the gradient descent algorithm in the which the learning rate is not fixed. Instead, we learn the learning rate itself, either by another gradient descent (first-order method), or by Newton's method (second-order). This way, gradient descent for any machine learning algorithm can be optimized.

研究の動機と目的

• 深層学習における学習率の手動チューニングという課題に取り組むこと。これは時間のかかる作業であり、しばしば最適でない。
• 各訓練ステップで最適な学習率を自動的に学習する手法を開発することにより、ヒューリスティックなスケジュールへの依存を減らすこと。
• 有限差分を用いた1階および2階最適化戦略を活用して、学習率の適応を検討すること。
• 適応的学習率が、凸および非凸な深層学習タスクの両方において収束を加速できるかどうかを評価すること。
• 適応的学習率手法における、高速な訓練と過学習リスクの増大とのトレードオフを調査すること。

提案手法

• 学習率 η(t) は、各反復で損失関数 f(η) = L(w(t) - ηg(t)) に対して勾配降下法を用いて更新される。ここで g(t) は時刻 t における勾配である。
• 1階手法では、f’(η) を小さな ε を用いた有限差分で推定することで、η(t+1) = η(t) - α·f’(η(t)) と更新する。
• 2階手法では、ニュートン法を用いて η(t+1) = η(t) - f’(η(t))/f’’(η(t)) と更新する。2階微分は有限差分で近似される。
• この手法は1反復あたり5回の順方向および逆方向パスを必要とする。1回は現在の損失の計算、残りの4回は ε パラメータを用いた重みの摂動により、1階および2階微分を推定するためである。
• アルゴリズムは、アーキテクチャの変更なしに、CIFAR-10 および CIFAR-100 における線形回帰、ロジスティック回帰、および深層ニューラルネットワークに適用される。
• 初期学習率は一度だけ設定され、以降は局所的な損失曲率に基づいて η(t) が自律的に適応される。

実験結果

リサーチクエスチョン

• RQ1 訓練中に変化する適応的学習率が、固定またはスケジュールされた学習率よりも収束速度で優れているかどうか。
• RQ2 非凸な深層学習タスクにおいて、1階手法と2階手法の学習率適応の性能はどのように比較されるか。
• RQ3 適応的学習率手法は、標準的なSGD や Adam と比較して過学習を軽減するか。
• RQ4 有限差分近似誤差（ε）が、学習率更新の安定性および収束に与える影響は何か。
• RQ5 適応的手法から得られる最終的な収束学習率は、Adam などの標準的最適化手法の初期化として信頼できるか。

主な発見

• 2階適応的学習率手法は、CIFAR-10 および CIFAR-100 において、固定学習率のSGD や Adam と比較して、特に初期エポックで顕著に速い初期収束を達成した。
• ボストン・ハウジングデータセットでは、適応的手法がベースラインのSGD よりも訓練損失をより速く低下させ、凸な設定でも有効性を示した。
• 適応的手法はしばしば訓練損失を非常に低い値にまで引き下げたが、テスト損失はベースラインと比較して高かった。これは、過学習のリスクが高いかつを示唆している。
• ResNet モデルにドロップアウトを追加することで、汎化ギャップが縮小した。これは、正則化が適応的手法における過学習を緩和できることを示している。
• 訓練損失が高かったにもかかわらず、テスト精度は標準的なSGD やAdam と同等またはわずかに優れており、早期停止と組み合わせることで頑健な汎化性能を示した。
• 適応的手法から得られる最終的な収束学習率は、理論的分析（例：η_opt = 1/λ_max）で示される最適値に一貫して近かった。これは、ハイパーパrameter探索の指針として有効であることを示唆している。