[論文レビュー] PAL: A fast DNN optimization method based on curvature information.

Maximus Mutschler, Andreas Zell|arXiv (Cornell University)|Mar 28, 2019

Advanced Neural Network Applications参考文献 41被引用数 4

ひとこと要約

PALは、勾配の負方向に沿って損失関数を放物線で近似することで、曲率情報を活用する高速なDNN最適化手法であり、この近似の最小値へ直接収束可能である。トレーニングエポック数を最大52.2％削減し、大規模・高次元問題においてRMSProp、SGD with momentum、ADAMを上回る性能を発揮する。

ABSTRACT

We present a novel optimizer for deep neural networks that combines the ideas of Netwon's method and line search to efficiently compute and utilize curvature information. Our work is based on empirical observation suggesting that the loss function can be approximated by a parabola in negative gradient direction. Due to this approximation, we are able to perform a variable and loss function dependent parameter update by jumping directly into the minimum of the approximated parabola. To evaluate our optimizer, we performed multiple comprehensive hyperparameter grid searches for which we trained more than 20000 networks in total. We can show that PAL outperforms RMSPROP, and can outperform gradient descent with momentum and ADAM on large-scale high-dimensional machine learning problems. Furthermore, PAL requires up to 52.2% less training epochs. PyTorch and TensorFlow implementations are provided at this https URL.

研究の動機と目的

• 一階微分最適化手法の深層学習における非効率性を、曲率情報を組み込むことで解消すること。
• 二階微分手法における正確なヘッセ行列計算の計算コストを克服すること。
• 完全なヘッセ行列計算を伴わずに局所的な曲率を活用できる、スケーラブルで効率的な最適化手法を開発すること。
• 標準的な最適化手法（ADAM や RMSProp）と比較して、優れた性能と高いサンプル効率を示すことを実証すること。

提案手法

• 実験的観察に基づき、負の勾配方向に沿って損失関数を放物線で近似する。
• ラインサーチを用いて、近似された放物線損失関数を最小化する最適なステップサイズを計算する。
• 反復的改善を避けるために、近似放物線の最小値へ直接ジャンプすることでパラメータを更新する。
• 放物線近似を通じて曲率情報を暗黙的に活用し、勾配のみに依存する更新への依存度を低下させる。
• 明示的なヘッセ行列計算を回避しつつも、二階微分効果を捉えることで計算効率を確保する。
• 広範な利用可能性と再現可能性を確保するため、PyTorchおよびTensorFlowの両方で実装を実施する。

実験結果

リサーチクエスチョン

• RQ1 完全なヘッセ行列計算のコストを回避しつつも、収束速度を向上させる曲率に配慮した最適化手法を設計可能か？
• RQ2 負の勾配方向に損失関数を放物線で近似することで、一階微分手法よりも優れた最適化性能が得られるか？
• RQ3 提案手法は、ADAM、RMSProp、SGD with momentumと比較して、より速い収束と少ないトレーニングエポック数を達成できるか？
• RQ4 大規模・高次元の深層学習問題において、この最適化手法の性能はどのようにスケーリングするか？
• RQ5 負の勾配方向に損失関数を放物線で近似することは、最適化において妥当で効果的な戦略か？

主な発見

• PALは、ベースライン最適化手法と比較して、必要なトレーニングエポック数を最大52.2％削減した。
• PALは、評価されたすべての大規模・高次元の機械学習問題においてRMSPropを上回った。
• テストされたベンチマークにおいて、SGD with momentumおよびADAMの両方と比較して、PALはより優れた性能を発揮した。
• 負の勾配方向に損失関数を放物線で近似することで、効果的かつ効率的な曲率の活用が可能になった。
• 20,000回以上のネットワークトレーニングランをハイパラメータグリッドサーチで実施した結果、実用的でスケーラブルであることが実証された。
• PyTorchおよびTensorFlowの実装により、この手法の実用性と既存のディープラーニングワークフローへの統合の容易さが確認された。