[論文レビュー] Neograd: Gradient Descent with a Near-Ideal Learning Rate.

Michael F. Zimmer|arXiv (Cornell University)|Oct 15, 2020

Machine Learning and Algorithms参考文献 21被引用数 2

ひとこと要約

Neogradは、更新誤差から導出される新しい指標$\rho$を用いて、各ステップで学習率を動的に調整する一階微分最適化アルゴリズムの族を導入する。手動での学習率チューニングの必要性を排除することで、テスト関数およびMNISTの手書き数字認識において、Adamや他の一階微分法よりも顕著に低い目的関数値を達成する。

ABSTRACT

Since its inception by Cauchy in 1847, the gradient descent algorithm has been without guidance as to how to efficiently set the learning rate. This paper identifies a concept, defines metrics, and introduces algorithms to provide such guidance. The result is a family of algorithms (Neograd) based on a {\em constant $ ho$ ansatz}, where $ ho$ is a metric based on the error of the updates. This allows one to adjust the learning rate at each step, using a formulaic estimate based on $ ho$. It is now no longer necessary to do trial runs beforehand to estimate a single learning rate for an entire optimization run. The additional costs to operate this metric are trivial. One member of this family of algorithms, NeogradM, can quickly reach much lower cost function values than other first order algorithms. Comparisons are made mainly between NeogradM and Adam on an array of test functions and on a neural network model for identifying hand-written digits. The results show great performance improvements with NeogradM.

研究の動機と目的

• カーチーの1847年の定式化以来、勾配降下法における最適な学習率を設定するための指針が長年にわたり欠如していた問題に取り組む。
• 新しい指標$\rho$を用いて、最適化の過程で学習率を動的に調整する体系的で公式に基づく手法を開発する。
• 最適化全体にわたり、試行錯誤による学習率選定の必要性を排除する。
• 定数$\rho$の仮定に基づく、効率的で適応的な学習率スケジューリングを可能にするアルゴリズム族Neogradを設計する。
• NeogradMが、Adamのような既存の第一階微分法と比較して優れた収束性能を示すことを実証する。

提案手法

• 勾配更新の誤差を定量化する指標$\rho$を導入し、これにより学習率の適応に基盤を置く。
• 更新誤差と学習率の調整の関係をモデル化するために、定数$\rho$の仮定を採用する。
• $\rho$に基づく公式な学習率更新ルールを導出し、追加のハイパーパrameterを必要とせずにリアルタイムでの適応を可能にする。
• 収束が速いように最適化されたNeogradMを、Neograd族の具体的な実装として設計する。
• 各ステップでの理想的な学習率を$\rho$指標を用いて推定し、パrameter更新の誤差を最小化する。
• 軽量で公式に基づく$\rho$と学習率更新の計算に依存することで、計算コストを低く抑える。

実験結果

リサーチクエスチョン

• RQ1 体系的で適応的な学習率戦略を開発でき、勾配降下法における手動チューニングの必要性を排除できるか？
• RQ2 更新誤差に基づく$\rho$指標は、固定またはヒューリスティックな学習率スケジュールと比較して、最適化の効率をどのように向上させるか？
• RQ3 NeogradMは、多様なテスト関数において、Adamや他の第一階微分法と比較して、目的関数の最小化においてどの程度優れているか？
• RQ4 Neogradフレームワークは、MNISTの手書き数字分類のような実世界の機械学習タスクにおいて、より速い収束とより低い最終的な目的関数値を達成できるか？
• RQ5 $\rho$指標の維持と適応的学習率の計算コストは何か。実際には無視できるほど小さいか？

主な発見

• NeogradMは、さまざまなテスト関数において、Adamや他の第一階微分最適化アルゴリズムと比較して顕著に低い目的関数値を達成する。
• Neogradフレームワークにより、事前の試行走行による固定学習率の推定を必要とせず、各ステップでの学習率の動的調整が可能になる。
• $\rho$指標の維持と学習率の更新にかかる計算コストは極めて小さく、この手法はスケーラブルで実用的である。
• 手書き数字認識用のニューラルネットワークにおいて、NeogradMはAdamに対して顕著な性能向上を示す。
• $\rho$指標の使用により、ヒューリスティック法や固定レート戦略よりも優れた体系的で公式に基づく学習率選定が可能になる。
• 特にNeogradMを含むNeogradアルゴリズム族は、合成ベンチマークおよび実世界のディープラーニングタスクの両方で強力な実証的性能を示す。