[論文レビュー] On the Importance of Consistency in Training Deep Neural Networks

Chengxi Ye, Yezhou Yang+2 more|arXiv (Cornell University)|Aug 2, 2017

Model Reduction and Neural Networks参考文献 10被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワークの学習における3つの一貫性の問題——学習速度の一貫性の欠如、入力と残差の間のスケールの一貫性の欠如、残差伝播の一貫性の欠如——を特定し、それらを解消する2次最適化手法を提案する。曲率情報と新規のModU正則化層を活用することで、学習の安定化、消失勾配の低減、MNISTにおける収束性と性能の向上を実現した深く安定したネットワークの構築が可能になった。

ABSTRACT

We explain that the difficulties of training deep neural networks come from a syndrome of three consistency issues. This paper describes our efforts in their analysis and treatment. The first issue is the training speed inconsistency in different layers. We propose to address it with an intuitive, simple-to-implement, low footprint second-order method. The second issue is the scale inconsistency between the layer inputs and the layer residuals. We explain how second-order information provides favorable convenience in removing this roadblock. The third and most challenging issue is the inconsistency in residual propagation. Based on the fundamental theorem of linear algebra, we provide a mathematical characterization of the famous vanishing gradient problem. Thus, an important design principle for future optimization and neural network design is derived. We conclude this paper with the construction of a novel contractive neural network.

研究の動機と目的

• 深層ニューラルネットワークの学習を妨げる3つの根幹的な一貫性問題（速度の一貫性の欠如、スケールの一貫性の欠如、残差伝播の一貫性の欠如）を特定・解決すること。
• 2次最適化手法が、1次最適化手法と比較して深層ネットワークにおいて優れた収束性と安定性を示すことを示すこと。
• 線形代数、特に線形代数の基本定理を用いて、消失勾配問題を数学的に特徴付けること。
• ModU正則化を用いた新しいコントラクト型ニューラルネットワークアーキテクチャを設計し、グローバルコントラクト性と改善された学習ダイナミクスを保証すること。
• 既存のSGDフレームワークに容易に統合可能な、直感的で低コストの2次学習手法を提供すること。

提案手法

• 曲率情報を活用して収束速度を向上させる、シンプルで低コストな2次最適化手法を提案。SGDをわずか1行のコード変更で拡張可能。
• 出力のノルムを単位ノルムに強制するModU正則化層を導入。これにより、層間での信号伝播が安定化される。
• 2次情報を利用して、層の入力と残差の間のスケールの不一致を分析・解消。より安定した最適化が可能になる。
• 線形代数の基本定理を用いて、残差逆伝播行列における核空間（null space）問題として消失勾配問題を定式化。
• RMS正則化と勾配エネルギー分布解析を用いて、層間での誤差低減と情報損失の可視化・定量的評価を実施。
• ModU正則化と重み減衰を組み合わせることでコントラクト型ネットワークを構築。MNISTではグローバルノルム上界が0.27に抑えられ、グローバルコントラクト性が確認された。

実験結果

リサーチクエスチョン

• RQ1 層間での学習速度の一貫性の欠如が深層ネットワークの最適化に与える影響は何か？2次最適化手法はこれを緩和できるか？
• RQ2 層の入力と残差の間のスケールの一貫性の欠如の原因は何か？2次最適化はその解消にどのように寄与するか？
• RQ3 深層ネットワークにおける消失勾配問題の数学的根拠は何か？線形代数を用いて形式的に特徴付けられるか？
• RQ4 新規の正則化層（ModU）と2次最適化を組み合わせることで、より深く、より安定し、より正確なネットワークを構築できるか？
• RQ5 異なる活性化関数やネットワークアーキテクチャは、誤差低減と情報損失のトレードオフにどのように影響するか？

主な発見

• 提案された2次最適化手法は、曲率情報を活用することで、収束速度の向上とより安定した最適化を実現し、学習速度と収束性が顕著に向上した。
• ModU正則化層により、MNIST上での全ネットワークのノルム上界が0.27に抑えられ、深く10層のネットワークであってもグローバルコントラクト性と安定性が保証された。
• 十分な学習が行われると、より深いネットワークでは誤差低減が顕著になるが、これは深層部での勾配減衰の増大と釣り合っている。
• ReLU活性化関数は、ModUと比較して、より速い誤差低減と情報損失を示した。一方、ModUは勾配エネルギー曲線がより平坦で、より高い安定性を示した。
• 消失勾配問題は、線形代数の基本定理に基づき、残差伝播行列における核空間（null space）問題として数学的に定式化された。
• 2次最適化とModU正則化の組み合わせにより、安定かつ高効率に学習可能な深層ネットワークの構築が可能となり、長年の学習不安定性の問題が克服された。