[論文レビュー] An Inertial Newton Algorithm for Deep Learning

Camille Castera, Jérôme Bolte+2 more|arXiv (Cornell University)|May 29, 2019

Model Reduction and Neural Networks参考文献 47被引用数 19

ひとこと要約

本稿では、確率的勾配と関数値のみを用いて、2階微分のニュートン的曲率情報と運動量的慣性を組み合わせた、深層学習のための新しい慣性ニュートン法INNAを提案する。非滑らかで非凸な深層学習問題において、部分線形収束を達成し、CIFARおよびMNISTベンチマークにおいてADAM や SGD と同等またはそれ以上の性能を示すが、ハイパーパrameterのチューニングが最小限で済む。

ABSTRACT

We introduce a new second-order inertial optimization method for machine learning called INNA. It exploits the geometry of the loss function while only requiring stochastic approximations of the function values and the generalized gradients. This makes INNA fully implementable and adapted to large-scale optimization problems such as the training of deep neural networks. The algorithm combines both gradient-descent and Newton-like behaviors as well as inertia. We prove the convergence of INNA for most deep learning problems. To do so, we provide a well-suited framework to analyze deep learning loss functions involving tame optimization in which we study a continuous dynamical system together with its discrete stochastic approximations. We prove sublinear convergence for the continuous-time differential inclusion which underlies our algorithm. Additionally, we also show how standard optimization mini-batch methods applied to non-smooth non-convex problems can yield a certain type of spurious stationary points never discussed before. We address this issue by providing a theoretical framework around the new idea of $D$-criticality; we then give a simple asymptotic analysis of INNA. Our algorithm allows for using an aggressive learning rate of $o(1/\\log k)$. From an empirical viewpoint, we show that INNA returns competitive results with respect to state of the art (stochastic gradient descent, ADAGRAD, ADAM) on popular deep learning benchmark problems.

研究の動機と目的

• 深層ニューラルネットワークのための2階微分最適化法を設計し、確率的勾配と関数値の近似のみを用いて、ニュートン的曲率情報と慣性運動量を統合すること。
• 実際の応用で一般的な非滑らかで非凸な深層学習損失関数の文脈において、INNAの理論的収束性を確立すること。
• ミニバッチ確率的最適化における偽の停留点の問題に取り組むために、D-臨界点の概念を導入すること。
• 安定性を損なわずに、O(1/log k)オーダーの急激な学習率を許容する、堅牢でスケーラブルなアルゴリズムを提供すること。
• SGD、ADAM、ADAGRAD などの最先端手法と比較して、標準的な深層学習ベンチマークにおけるINNAの性能を実験的に検証すること。

提案手法

• アルゴリズムは、慣性項、減衰項、ニュートン項、勾配降下項を含む連続時間力学系（DIN）から導出され、実用的用途に適した離散化が施されている。
• ヘッセ行列の直接計算を回避するため、位相空間の持ち上げ技術を用い、勾配と関数値の確率的近似に依存する。
• 一般化された勾配オракルを組み込み、非滑らか性を扱えるようにするために、tame最適化フレームワークを採用している。
• ミニバッチサブサンプリングに起因する偽の停留点を分析・緩和するため、D-臨界点に基づく新しい理論的枠組みを導入している。
• q ≤ 1/2 となる形で、γ₀k⁻q のステップサイズルールを採用し、ゆっくりとした減衰を実現し、実用的な収束性を向上させている。
• 弱い仮定（深層学習問題の多くに適用可能）のもとで、連続的微分包含とその離散的確率的近似の解析により収束を証明している。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配と関数値の近似のみを用いて、2階微分型慣性最適化法を深層学習に適用できるか。
• RQ2 高次元で非滑らかで非凸な設定において、計算的に実行可能で安定性を保つ形で、慣性的およびニュートン的力学をどのように統合できるか。
• RQ3 深層ニューラルネットワークの文脈において、このようなアルゴリズムの収束に対してどのような理論的保証を提供できるか。
• RQ4 ミニバッチサブサンプリングの影響がどのように偽の停留点を生じさせ、それらを形式的に特徴づけ、回避できるか。
• RQ5 提案されたアルゴリズムは、ADAM や SGD と比較して、収束速度および最終的精度の両面で優れていると期待できるか。

主な発見

• 弱い正則性仮定のもとでも、アルゴリズムの背後にある連続時間微分包含に対して、INNA は部分線形収束を達成する。
• D-臨界点の導入により、非凸最適化におけるミニバッチ確率的サブサンプリングに起因する偽の停留点を分析・回避するための新しい理論的枠組みが提供された。
• 実験的結果から、INNA は CIFAR-10、CIFAR-100、MNIST において、ADAM や SGD と同等またはそれ以上の性能を示す。特に CIFAR-100 におけるテスト精度で顕著な優位性を示した。
• α と β のハイパーパrameter選定に対して INNA は頑健であり、(0.5, 0.1) が安定なデフォルト設定として機能する。訓練速度は主にこれらのパラメータに依存する。
• k⁻¹⁴ のゆっくりとしたステップサイズ減衰を採用した場合、INNA は ADAM を上回る訓練速度と最終的性能を達成し、急激な学習率スケジューリングの利点を示した。
• アルゴリズムは非常に調整しやすく再現性が高く、最小限のチューニングで優れた結果を達成する。これは、実際の深層学習ワークフローへの実用的応用可能性を裏付ける。