[論文レビュー] Stable ResNet

Soufiane Hayou, Eugenio Clerico+4 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Neural Network Applications参考文献 41被引用数 6

ひとこと要約

この論文は、訓練中の勾配を安定化させるとともに、深さが無限大に近づいても表現力を維持する、新しい残差ネットワークアーキテクチャ「Stable ResNet」を紹介する。残差接続を学習可能なスケーリング機構で変更することで、勾配爆発を回避し、表現能力を保持する。これにより、深層ネットワークにおける優れた安定性と性能が達成される。

ABSTRACT

Deep ResNet architectures have achieved state of the art performance on many tasks. While they solve the problem of gradient vanishing, they might suffer from gradient exploding as the depth becomes large (Yang et al. 2017). Moreover, recent results have shown that ResNet might lose expressivity as the depth goes to infinity (Yang et al. 2017, Hayou et al. 2019). To resolve these issues, we introduce a new class of ResNet architectures, called Stable ResNet, that have the property of stabilizing the gradient while ensuring expressivity in the infinite depth limit.

研究の動機と目的

• 非常に深い残差ネットワークにおける勾配爆発を解消すること、これは深層学習における知られている問題である。
• 深さが無限大に近づくにつれて表現力が低下するResNetsの問題を解決すること。
• 無限大の深さ極限において、安定した勾配と高い表現力の両方を維持する残差アーキテクチャを設計すること。
• 一般化性能と訓練安定性を向上させる、理論的に根拠があり、学習可能なアーキテクチャを提供すること。

提案手法

• 勾配の流れを制御するため、残差接続に学習可能なスケーリング係数を導入する。
• 勾配と活性化を安定化させるパラメータ化された正規化を含むように残差ブロックを変更する。
• 深さが増加するにつれて勾配ノルムが有界のまま保たれるようにアーキテクチャを設計する。
• ネットワークの深さと訓練ダイナミクスに応じて動的に調整される適応的スケーリングを備えた残差接続を使用する。
• 制御された勾配伝播を通じて、無限大の深さ極限においても表現可能であることを保証する。
• アイデンティティマッピングを安定化させる学習可能なパラメータを備えた残差ブロックを用いて、アーキテクチャを形式化する。

実験結果

リサーチクエスチョン

• RQ1 深さが増加するにつれて勾配爆発に対して安定する残差ネットワークは作成可能か？
• RQ2 無限大の深さ極限において、ResNetsの表現力は劣化するか？
• RQ3 任意の深さにおいて、勾配安定性と高い表現力の両方を維持できる残差アーキテクチャは作成可能か？
• RQ4 非常に深いネットワークにおいて勾配が有界で、表現力が保持されるようにするために、どのようなアーキテクチャ的変更が必要か？

主な発見

• 提案されたStable ResNetアーキテクチャは、学習可能なスケーリング係数による残差接続の制御により、勾配爆発を防止する。
• 深さが無限大に近づいても勾配が有界のまま保たれ、安定した訓練が可能になる。
• Stable ResNetは無限大の深さ極限においても表現力を維持し、標準的なResNetsで観察される表現力の崩壊を回避する。
• 勾配消失や爆発が生じないため、非常に深いネットワークの安定した訓練が可能になる。
• 理論的分析により、提案された設計のもとで勾配ノルムが有界のまま保たれることを確認した。