[論文レビュー] Never look back - A modified EnKF method and its application to the training of neural networks without back propagation

Eldad Haber, Felix Lucka+1 more|arXiv (Cornell University)|May 21, 2018

Model Reduction and Neural Networks参考文献 19被引用数 15

ひとこと要約

本稿では、バックプロpagationを用いずに、前方伝搬の評価と確率的サンプリングによるヤコビアン近似を活用することで、勾配フリーな深層ニューラルネットワークの学習を可能にする修正されたアンサンブルカルマンフィルタ（EnKF）手法を提案する。強い凸問題に対して部分線形収束を証明し、MNISTにおいてADAMより少ない前方伝搬回数と低メモリ使用量で高速な収束を達成した。

ABSTRACT

In this work, we present a new derivative-free optimization method and investigate its use for training neural networks. Our method is motivated by the Ensemble Kalman Filter (EnKF), which has been used successfully for solving optimization problems that involve large-scale, highly nonlinear dynamical systems. A key benefit of the EnKF method is that it requires only the evaluation of the forward propagation but not its derivatives. Hence, in the context of neural networks, it alleviates the need for back propagation and reduces the memory consumption dramatically. However, the method is not a pure "black-box" global optimization heuristic as it efficiently utilizes the structure of typical learning problems. Promising first results of the EnKF for training deep neural networks have been presented recently by Kovachki and Stuart. We propose an important modification of the EnKF that enables us to prove convergence of our method to the minimizer of a strongly convex function. Our method also bears similarity with implicit filtering and we demonstrate its potential for minimizing highly oscillatory functions using a simple example. Further, we provide numerical examples that demonstrate the potential of our method for training deep neural networks.

研究の動機と目的

• バックプロパゲーションを回避し、メモリ消費を低減する勾配フリーな最適化手法を、ニューラルネットワークの学習に向け開発すること。
• 強い凸関数に対してグローバル最小解への収束を証明することで、既存のEnKFベースの手法を改善すること。
• 大規模なニューラルネットワーク学習における並列処理とスケーラビリティを高める高性能コンピューティング環境への適応を可能にすること。
• MNIST分類のような非凸的な深層学習問題において、本手法の有効性を示すこと。
• スムージング効果を通じて、振動的または高非線形な目的関数をどのように扱えるかを検討すること。

提案手法

• 本手法はEnKFを修正し、摂動させたパrameter点における前方伝搬評価を用いて、バリアンス低減型の確率的ヤコビアン近似を導入する。
• 現在の反復点の周囲で確率的にサンプリングされたパーティクルにおける前方伝搬出力のみを用いて、前方演算子のヤコビアンを推定し、明示的な勾配計算を回避する。
• 変数投影戦略を採用し、θを固定したもとで最終層の重みWをニュートン法により正確に解くことで、次元削減と効率向上を実現する。
• 部分問題のWを効率的に解くために、不正確なニュートン法と共役勾配法を用い、各ステップで限定的な反復回数を設定する。
• 前方伝搬のみを用いて線形探索と反復更新を実行し、バックプロパゲーションを一切使用しない。
• 低次元部分空間近似を活用して収束を向上させ、暗黙のフィルタリングに類似したが、確率的かつ勾配フリーな形で適用する。

実験結果

リサーチクエスチョン

• RQ1 修正されたEnKF手法は、勾配を一切使用せずに強い凸関数のグローバル最小解への収束を達成できるか？
• RQ2 本稿で提案する勾配フリー手法は、深層ニューラルネットワークにおける収束速度とメモリ効率の面で、確率的勾配降下法（SGD）と比較してどのように差をつけるか？
• RQ3 本手法は、深層学習で一般的に見られる非凸的で高振動的な損失関数の形状に対しても効果的に対処できるか？
• RQ4 バックプロパゲーションの欠如により、より深く、またはより大きなネットワークの学習が、メモリ制限なしに可能になるか？
• RQ5 本手法に内在するスムージング特性が、損失関数に高周波数の振動が存在する状況での最適化に、どの程度改善効果をもたらすか？

主な発見

• 提案手法は、強い凸関数のグローバル最小解を部分線形速度で収束するが、従来のEnKF変種が低次元部分空間における射影解への収束しか示さないのに対し、性能が向上している。
• MNISTデータセットにおいて、本手法は238.5秒で学習を完了し、ADAMの1,751秒よりも高速であった。テスト精度は98.38%に達した。
• 約50,000の重みを最適化するために、たった4つのパーティクルで十分であった。これは、高いサンプル効率とスケーラビリティを示している。
• ADAMよりわずかに一般化性能が低かった（テスト精度99.12% vs. 98.38%）が、はるかに少ない前方伝搬回数で低い損失値を達成した。
• 振動的で高周波数の目的関数に対して、スムージング効果を示し、非凸的かつ高周波数の損失関数の形状に対してもロバストであることが示唆された。
• アルゴリズムは並列処理に非常に適しており、バックプロパゲーションを回避するため、メモリ制限なしに非常に深いネットワークの学習が可能である。