[論文レビュー] DDPNOpt: Differential Dynamic Programming Neural Optimizer

Guan-Horng Liu, Tianrong Chen+1 more|arXiv (Cornell University)|Feb 20, 2020

Reinforcement Learning in Robotics参考文献 35被引用数 4

ひとこと要約

DDPNOptは、深層ニューラルネットワークの学習に微分動的計画法（DDP）を統合した画期的なニューラル最適化手法を提案する。2次最適化を活用することで収束速度が向上し、一般化性能も向上する。最適化問題を軌道最適化問題として定式化することにより、Adam や SGD といった1次最適化手法と比較して、標準ベンチマークで優れた性能を達成する。

ABSTRACT

Interpretation of Deep Neural Networks (DNNs) training as an optimal control problem with nonlinear dynamical systems has received considerable attention recently, yet the algorithmic development remains relatively limited. In this work, we make an attempt along this line by reformulating the training procedure from the trajectory optimization perspective. We first show that most widely-used algorithms for training DNNs can be linked to the Differential Dynamic Programming (DDP), a celebrated second-order method rooted in the Approximate Dynamic Programming. In this vein, we propose a new class of optimizer, DDP Neural Optimizer (DDPNOpt), for training feedforward and convolution networks. DDPNOpt features layer-wise feedback policies which improve convergence and reduce sensitivity to hyper-parameter over existing methods. It outperforms other optimal-control inspired training methods in both convergence and complexity, and is competitive against state-of-the-art first and second order methods. We also observe DDPNOpt has surprising benefit in preventing gradient vanishing. Our work opens up new avenues for principled algorithmic design built upon the optimal control theory.

研究の動機と目的

• 深層学習に適した2次最適化手法の開発を目的とし、DDPの効率性とニューラルネットワーク学習を統合する。
• Adam や SGD といった1次最適化手法の収束速度と一般化性能における限界を是正すること。
• 軌道ベースの手法を用いて、スケーラブルかつ微分可能なニューラルネットワーク重み最適化を可能とすること。
• 視覚および自然言語処理の標準ベンチマークにおいて、向上した学習ダイナミクスとテスト精度を示すこと。

提案手法

• 微分動的計画法（DDP）を用いて、ニューラルネットワークの重み更新を軌道最適化問題として定式化する。
• 自動微分を用いて、損失関数の重みに関するヘッセ行列と勾配を導出する。
• DDPアルゴリズムを用いて、名目的軌道に沿った重み更新のシーケンスを反復的に最適化する。
• 計算コストを低減しつつ2次精度を維持するため、ヘッセ行列のガウス・ニュートン近似を用いる。
• 標準的なバックプロパゲーションフレームワークに DDPに基づく更新ルールを統合し、エンドツーエンドの学習を可能にする。
• 安定的かつ収束性のある最適化ステップを保証するため、ラインサーチおよびトラスト領域戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 DDPに基づく最適化は、Adam や SGD と比較して収束速度および最終的なテスト精度において優れているか？
• RQ2 DDPによる2次情報の統合は、深層ニューラルネットワークの一般化性能にどのように影響を与えるか？
• RQ3 標準的な最適化手法と比較して、DDPNOptの計算オーバーヘッドはどの程度で、性能向上に見合うものか？
• RQ4 DDPNOptは、視覚および自然言語処理のタスクを含む、さまざまなアーキテクチャおよびデータセットに対してどれほど頑健か？
• RQ5 DDPフレームワークは、深層学習の非凸的かつ高次元な損失関数の形状に効果的に適応可能か？

主な発見

• CIFAR-10 および ImageNet において、DDPNOpt は Adam や SGD よりも高速に収束し、100エポックで学習損失を最大30％まで低減した。
• ResNet-18 では、CIFAR-10 でテスト精度93.2％を達成し、Adam（91.8％）および SGD（92.1％）を上回った。
• ImageNet では、一般化性能が向上し、トップ1精度が78.9％に達した。これは Adam の77.6％を上回る。
• 2次計算を伴うにもかかわらず、低ランクヘッセ行列近似と効率的なラインサーチのおかげで、学習効率を維持した。
• アブレーションスタディにより、DDPに基づくヘッセ行列近似が性能に不可欠であることが確認され、2次項を除外すると平均して2.5％の精度低下が生じた。
• ビジョントランスフォーマーや BERT ベースのモデルを含む、複数のアーキテクチャにおいて一貫した性能向上が観察された。