[論文レビュー] Large Scale Distributed Hessian-Free Optimization for Deep Neural Network.

Xi He, Dheevatsa Mudigere+2 more|arXiv (Cornell University)|Jun 2, 2016

Stochastic Gradient Optimization Techniques参考文献 25被引用数 5

ひとこと要約

この論文では、安定化されたバイ共役勾配法と負の曲率情報の活用により、サドルポイントからの脱出を効率的に行うことで学習を加速する大規模分散型ヘシアンフリー最適化手法を提案する。16 CPU ノードまででほぼ線形のスループット向上を達成し、SGD よりも1桁大きいバッチサイズをサポートする。スケーリング効率と収束速度の両面で顕著な向上を実現する。

ABSTRACT

Training deep neural network is a high dimensional and a highly non-convex optimization problem. Stochastic gradient descent (SGD) algorithm and it's variations are the current state-of-the-art solvers for this task. However, due to non-covexity nature of the problem, it was observed that SGD slows down near saddle point. Recent empirical work claim that by detecting and escaping saddle point efficiently, it's more likely to improve training performance. With this objective, we revisit Hessian-free optimization method for deep networks. We also develop its distributed variant and demonstrate superior scaling potential to SGD, which allows more efficiently utilizing larger computing resources thus enabling large models and faster time to obtain desired solution. Furthermore, unlike truncated Newton method (Marten's HF) that ignores negative curvature information by using na\ive conjugate gradient method and Gauss-Newton Hessian approximation information - we propose a novel algorithm to explore negative curvature direction by solving the sub-problem with stabilized bi-conjugate method involving possible indefinite stochastic Hessian information. We show that these techniques accelerate the training process for both the standard MNIST dataset and also the TIMIT speech recognition problem, demonstrating robust performance with upto an order of magnitude larger batch sizes. This increased scaling potential is illustrated with near linear speed-up on upto 16 CPU nodes for a simple 4-layer network.

研究の動機と目的

• 深層ニューラルネットワーク学習における、サドルポイント付近での確率的勾配降下法（SGD）の収束遅さを解消すること。
• 従来のヘシアンフリー手法が単純な共役勾配法とガウス＝ニュートン近似により負の曲率を無視するという限界を克服すること。
• 大規模コンピューティングリソースをより効果的に活用できる、スケーラブルで分散化されたヘシアンフリー最適化の変種を開発すること。
• SGD よりも1桁大きいバッチサイズ（最大10倍）を用いても収束速度を損なわずに学習を可能にすること。
• 安定化されたバイ共役勾配法を用いて不確定な確率的ヘシアン情報を活用することで最適化効率を向上させること。

提案手法

• 安定化されたバイ共役勾配法を用いて負の曲率情報を組み込むことで、深層ネットワーク向けヘシアンフリー最適化を再考する。
• 従来のヘシアンフリー手法で用いられる単純な共役勾配法の代わりに、不確定なヘシアン近似を処理できる安定化されたバージョンを採用する。
• 最適化中に曲率のダイナミクス（負の曲率を含む）を捉えるために、確率的ヘシアン情報を活用する。
• 最大16 CPU ノードにまでスケーリング可能な、ヘシアンフリーアルゴリズムの分散実装を設計する。
• ガウス＝ニュートンのヘシアン近似と安定化されたバイ共役勾配法を統合し、収束の安定性と性能を向上させる。
• 確率的ヘシアン推定から生じる不確定な線形系を処理できる、安定化されたバイ共役勾配法を用いて部分問題の解を定式化する。

実験結果

リサーチクエスチョン

• RQ1 分散型ヘシアンフリー最適化手法は、大規模な深層ニューラルネットワークにおいて、SGD よりも高速でスケーラブルな学習を実現できるか？
• RQ2 安定化されたバイ共役勾配法を用いて負の曲率情報を活用することで、標準的なヘシアンフリー手法と比較してサドルポイントからの脱出が速くなるか？
• RQ3 ヘシアンフリー最適化において、収束性能が劣化しない範囲でどの程度までバッチサイズを拡大できるか。SGD と比較するとどうなるか？
• RQ4 大規模な CPU クラスタ上で分散型ヘシアンフリー手法を用いることで、どの程度のスループット向上が達成できるか？
• RQ5 非凸な深層学習問題において、確率的ヘシアン近似を用いた場合に、提案手法がどのようにしてロバスト性と収束性を維持できるか？

主な発見

• 提案されたヘシアンフリー手法は、最大16 CPU ノードでほぼ線形のスループット向上を達成し、SGD よりも優れたスケーリング可能性を示した。
• SGD が使用するバッチサイズよりも1桁大きいバッチサイズをサポートでき、大規模コンピューティングリソースの効率的利用を可能にした。
• 安定化されたバイ共役勾配法を用いて負の曲率情報を活用することで、MNIST および TIMIT データセットの両方で収束が加速され、学習性能が向上した。
• ヘシアンフリー最適化の分散版は、特に大規模バッチサイズを必要とする状況において、SGD よりも高速な学習を実現した。
• 画像分類（MNIST）および音声認識（TIMIT）といったさまざまな深層学習タスクにおいて、安定したパフォーマンスを示し、一般化能力を確認した。
• 安定化されたバイ共役勾配法を用いた確率的ヘシアン近似により、不確定な曲率の効果的な処理が可能になり、サドルポイントからの脱出と最適化の安定性が向上した。