[論文レビュー] An Optimal Control Approach to Deep Learning and Applications to Discrete-Weight Neural Networks

Qianxiao Li, Shuji Hao|arXiv (Cornell University)|Mar 4, 2018

Stochastic Gradient Optimization Techniques参考文献 47被引用数 39

ひとこと要約

本稿では、ポントレヤーギンの最大原理を用いて深層学習を離散時間最適制御問題として定式化し、勾配フリーの逐次近似法（MSA）を導入してニューラルネットワークの学習を行う。この手法により、非常にスパースな三値重みを実現し、低メモリデバイスへの効率的なデプロイが可能となる。

ABSTRACT

Deep learning is formulated as a discrete-time optimal control problem. This allows one to characterize necessary conditions for optimality and develop training algorithms that do not rely on gradients with respect to the trainable parameters. In particular, we introduce the discrete-time method of successive approximations (MSA), which is based on the Pontryagin's maximum principle, for training neural networks. A rigorous error estimate for the discrete MSA is obtained, which sheds light on its dynamics and the means to stabilize the algorithm. The developed methods are applied to train, in a rather principled way, neural networks with weights that are constrained to take values in a discrete set. We obtain competitive performance and interestingly, very sparse weights in the case of ternary networks, which may be useful in model deployment in low-memory devices.

研究の動機と目的

• 深層学習の学習を離散時間最適制御問題として再定式化し、勾配フリー最適化を可能にする。
• ポントレヤーギンの最大原理に基づく、安定で収束保証のある逐次近似法（MSA）を、ニューラルネットワークの学習に向け開発する。
• 離散値重みを有するニューラルネットワーク、特にバイナリおよびトライナリネットワークの学習にこの手法を適用し、効率的な推論を実現する。
• 厳密な誤差推定を用いて、MSAアルゴリズムの動的挙動と安定性を分析する。
• 本手法により、リソース制約のあるデバイスへのデプロイに適したスパースで高性能なモデルが得られることを示す。

提案手法

• 深層フィードフォワードニューラルネットワークの学習を、層ごとの変換で制御される状態ダイナミクスを持つ離散時間最適制御問題として定式化する。
• 離散時間ポントレヤーギンの最大原理（PMP）を適用し、制御パラメータ（重み）の最適性に必要な条件を導出する。
• PMPに基づく逐次近似法（MSA）を導入し、ハミルトニアンに基づく更新則を用いて繰り返し重みを更新する。
• MSAの安定化と重み更新における振動の防止を目的として、減少するパラメータ $\rho_{k,t}$ を含む正則化項を導入する。
• 勾配推定に指数移動平均を用い、固定された重み集合を有するバイナリおよびトライナリネットワークにアルゴリズムを適用する。
• 離散重みに対しては符号に基づく更新則を採用し、トライナリネットワークではスパースネス促進項 $\lambda_t$ を含める。

実験結果

リサーチクエスチョン

• RQ1 深層学習は、勾配フリーの学習を可能にするために、離散時間最適制御問題として効果的に再定式化可能か？
• RQ2 ポントレヤーギンの最大原理に基づく逐次近似法（MSA）は、深層ニューラルネットワークに適用するにあたり、どのように安定化され、収束保証が得られるか？
• RQ3 正則化パラメータ $\rho_{k,t}$ の影響は、MSAアルゴリズムの収束性および安定性にどのように現れるか？
• RQ4 提案手法は、高い重みスパースネスを達成しつつ、バイナリおよびトライナリニューラルネットワークを競争力のある精度で学習可能か？
• RQ5 ReLU や滑らか化されたハンジング損失関数などの非滑らかな活性化関数および損失関数を用いた場合、アルゴリズムの性能はいかがなっているか？

主な発見

• 提案されたMSAアルゴリズムは、バイナリおよびトライナリネットワークの学習において、MNIST、CIFAR-10、SVHNの各データセットで競争力あるテスト精度を達成した。
• トライナリネットワークでは、重みの顕著な割合がゼロに設定された非常にスパースなモデルが生成され、低メモリデプロイに好都合であることが分かった。
• ReLU や二乗滑らか化ハンジング損失関数などの非滑らかな損失関数および活性化関数に対しても、アルゴリズムは安定かつ収束することが確認された。
• 減少する正則化パラメータ $\rho_{k,t}$ の導入が、MSAの安定化および重み更新における振動の防止に不可欠であることが示された。
• バッチ正則化は、優れた性能を達成するために不可欠であることが判明し、先行研究と整合的であり、理論的分析でも裏付けられた。
• 本手法は、バックプロパゲーションやネットワーク重みに関する勾配計算を一切必要とせず、微分可能パラメータを用いない学習が可能である。