[論文レビュー] Volume-preserving Neural Networks: A Solution to the Vanishing Gradient Problem.

Gordon Macdonald, Andrew Godbout+2 more|arXiv (Cornell University)|Nov 21, 2019

Advanced Neural Network Applications参考文献 6被引用数 5

ひとこと要約

この論文は、回転、並べ替え、単位行列式の対角変換、活性化関数を通じてすべての隠れ層が体積を保存するようにすることで勾配安定性を確保する、ボリューム・プレセービング・ニューラル・ネットワーク（VPNN）という深層学習アーキテクチャを導入する。この手法により勾配の消失や爆発が防止され、すべての層で一貫した学習率を維持できるため、標準データセット上で高速かつ高精度な学習が可能になる。

ABSTRACT

We propose a novel approach to addressing the vanishing (or exploding) gradient problem in deep neural networks. We construct a new architecture for deep neural networks where all layers (except the output layer) of the network are a combination of rotation, permutation, diagonal, and activation sublayers which are all volume preserving. This control on the volume forces the gradient (on average) to maintain equilibrium and not explode or vanish. Volume-preserving neural networks train reliably, quickly and accurately and the learning rate is consistent across layers in deep volume-preserving neural networks. To demonstrate this we apply our volume-preserving neural network model to two standard datasets.

研究の動機と目的

• 深層ニューラル・ネットワークにおける勾配の消失および爆発問題に対処すること。
• バックプロパゲーション中に勾配のバランスを維持するニューラル・ネットワークアーキテクチャを開発すること。
• 深層ネットワークのすべての層で一貫した学習率を保証すること。
• 標準ベンチマークデータセット上で信頼性高くかつ効率的な訓練が可能かどうかを実証すること。

提案手法

• アーキテクチャは、回転、並べ替え、行列式が1の対角行列、非線形活性化関数のみを用いる。
• 各層は、入力空間における体積を個別に保存するサブレイヤーの合成として構築される。
• 各層のヤコビ行列式の絶対値が1に制約され、体積保存が保証される。
• フォワードパスの体積保存性のおかげで、バックプロパゲーションの勾配がスケールを維持する。
• 位相空間体積の保存を強制することで、勾配の爆発や消失を回避する。
• 出力層のみが体積保存でないコンponentであり、最終的な分類または回帰を可能にする。

実験結果

リサーチクエスチョン

• RQ1 体積保存型レイヤーは、深層ネットワークにおける勾配を安定化させることができるか？
• RQ2 体積保存を維持することで、すべての層で一貫した学習率が得られるか？
• RQ3 VPNNは、標準的な深層ネットワークと比較して、より高速かつ高精度に学習できるか？
• RQ4 標準ベンチマークデータセットにおいて、VPNNは収束性と精度の面でどのように性能を発揮するか？

主な発見

• VPNNは、学習中に勾配の消失や爆発を効果的に防止した。
• 標準的な深層ネットワークと比較して、より高速かつ高精度に学習が可能となった。
• すべての層で一貫した学習率が維持され、層ごとのチューニングの必要がなくなった。
• 標準データセットにおいて信頼性のある収束性を示し、そのロバスト性が確認された。