[論文レビュー] Gradients explode - Deep Networks are shallow - ResNet explained

George Philipp, Dawn Song+1 more|arXiv (Cornell University)|Dec 15, 2017

Advanced Neural Network Applications参考文献 45被引用数 35

ひとこと要約

この論文は、Adam やバッチ正則化、SeLU といった一般的な技術が用いられても、深層MLPにおいて勾配爆発が持続することを示している。これは、残差接続が持つ数学的性質のおかげで、ResNets が最適化の流れを単純化し、『残差のテクニック』によって勾配爆発を緩和することで実現されている。

ABSTRACT

Whereas it is believed that techniques such as Adam, batch normalization and, more recently, SeLU nonlinearities solve the exploding gradient problem, we show that this is not the case in general and that in a range of popular MLP architectures, exploding gradients exist and that they limit the depth to which networks can be effectively trained, both in theory and in practice. We explain why exploding gradients occur and highlight the *collapsing domain problem*, which can arise in architectures that avoid exploding gradients. ResNets have significantly lower gradients and thus can circumvent the exploding gradient problem, enabling the effective training of much deeper networks, which we show is a consequence of a surprising mathematical property. By noticing that *any neural network is a residual network*, we devise the *residual trick*, which reveals that introducing skip connections simplifies the network mathematically, and that this simplicity may be the major cause for their success.

研究の動機と目的

• Adam やバッチ正則化、適応的最適化手法を用いても、深層順方向ネットワークがなぜまだ勾配爆発を経験するのかを調査すること。
• バッチ正則化や適応的最適化器を備えたにもかかわらず、一般的なMLPアーキテクチャで勾配爆発の根本的要因を特定すること。
• 標準MLPと比較して、なぜResNets がより深いネットワークの学習を可能としているのか、その数学的構造を分析すること。
• スキップ接続が最適化の流れを単純化する仕組みを明らかにする『残差のテクニック』を統一的原則として導入すること。

提案手法

• 勾配爆発が発生する条件を特定するために、深層MLPにおけるバックプロパゲーションのダイナミクスを分析すること。
• 勾配爆発を回避するアーキテクチャで発生する失敗モードとしての『収縮ドメイン問題』の概念を導入すること。
• 任意のニューラルネットワークが残差ネットワークとして見なせることを示し、残差接続の数学的同等性を明らかにすること。
• 『残差のテクニック』を、残差マッピングを分離することでネットワークの勾配フローを単純化する変換として形式化すること。
• 理論的分析を用いて、残差接続が勾配の分散を低減し、深層ネットワークにおける学習を安定化させることを示すこと。
• 標準MLPとResNets における勾配の大きさを比較することで、勾配爆発の低減を実証的に検証すること。

実験結果

リサーチクエスチョン

• RQ1 なぜAdam やバッチ正則化、SeLU 活性化関数を用いても、深層MLPで勾配爆発が持続するのか？
• RQ2 なぜResNets は標準MLPと比較してより深いネットワークの学習が可能なのか、その数学的性質は何か？
• RQ3 『残差のテクニック』は、深層ネットワークにおける最適化プロセスをどのように単純化するのか？
• RQ4 スキップ接続は、深層アーキテクチャにおける収縮ドメイン問題を防ぐ役割を果たすのか？
• RQ5 すべての順方向ネットワークを再定式化して残差ネットワークにできるのか？

主な発見

• Adam やバッチ正則化、SeLU 活性化関数を用いても、深層MLPでは勾配爆発が根本的な問題として残存する。
• 勾配爆発を回避することを目的としたアーキテクチャに、収縮ドメイン問題が現れる。これは最適化安定性におけるトレードオフを示している。
• 標準MLPと比較して、ResNets ははるかに低い勾配の大きさを示し、はるかに深いネットワークの有効な学習を可能としている。
• ResNets の成功の背景には、隠れた数学的単純性がある。スキップ接続は最適化パスの有効な深さを低減する。
• 『残差のテクニック』は、残差接続がネットワークをより単純で安定した最適化問題に変換することを明らかにする。
• 任意の順方向ネットワークは再表現として残差ネットワークとして表現可能であり、残差構造が普遍的な単純化メカニズムであることを示している。