[論文レビュー] Residual Connections Encourage Iterative Inference

Stanisław Jastrzȩbski, Devansh Arpit+4 more|arXiv (Cornell University)|Oct 13, 2017

Domain Adaptation and Few-Shot Learning被引用数 46

ひとこと要約

この論文は、残差ブロックが隠れ表現空間における勾配降下法を自然に実装することを示すことで、残差ネットワーク（ResNets）を反復的推論として形式化する。下位のブロックが階層的表現を学習するのに対し、上位のブロックが反復的に特徴を精緻化することを実証的に示し、勾配爆発を引き起こすナーブな重み共有が過学習を引き起こす原因であることを明らかにした。この問題は、適切な初期化を伴う非共有バッチ正則化によって解決される。

ABSTRACT

Residual networks (Resnets) have become a prominent architecture in deep learning. However, a comprehensive understanding of Resnets is still a topic of ongoing research. A recent view argues that Resnets perform iterative refinement of features. We attempt to further expose properties of this aspect. To this end, we study Resnets both analytically and empirically. We formalize the notion of iterative refinement in Resnets by showing that residual connections naturally encourage features of residual blocks to move along the negative gradient of loss as we go from one block to the next. In addition, our empirical analysis suggests that Resnets are able to perform both representation learning and iterative refinement. In general, a Resnet block tends to concentrate representation learning behavior in the first few layers while higher layers perform iterative refinement of features. Finally we observe that sharing residual layers naively leads to representation explosion and counterintuitively, overfitting, and we show that simple existing strategies can help alleviating this problem.

研究の動機と目的

• 残差ネットワークにおける反復的推論を形式的に定義し分析すること。
• 残差ブロックが隠れ表現空間で勾配降下法を実行しているかどうかを調査すること。
• 効率的な反復的精緻化を実現するための残差ブロック内のパラメータ共有の探求。
• 深層ResNetsにおけるナーブな重み共有の失敗を特定し、その緩和戦略を提案すること。

提案手法

• テイラー展開を用いて、各残差ブロックがアクティベーション空間における勾配ステップを近似することを示す。
• 残差ブロック出力と損失の負の勾配との間のコサイン類似度を測定し、反復的精緻化の妥当性を検証する。
• 残差ブロック段階ごとの特徴の学習および精緻化ダイナミクスを実証的に分析する。
• 残差ブロックを共有する場合の訓練安定化のため、γを0.1に初期化した非共有バッチ正則化（UBN）を提案する。
• 訓練済みの残差ブロックを元の深さを超えてアンロールし、一般化性能をテストする。
• バッチ正則化の各構成要素が活性化および勾配爆発に与える影響を隔離するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 残差ブロックは、隠れ表現空間で自然に勾配降下法を実装しているか？
• RQ2 ResNetsにおける下位および上位の残差ブロックは、それぞれ表現学習と反復的精緻化の異なる役割を果たしているか？
• RQ3 なぜナーブなパラメータ共有が残差ブロックにおいて過学習および性能低下を引き起こすのか？
• RQ4 元の深さを超えてResNetsをアンロールしても性能が低下しないか？
• RQ5 残差ブロックを共有する場合に、訓練を安定化させるのに効果的なバッチ正則化戦略は何か？

主な発見

• 残差ブロックは、隠れ表現空間における勾配降下ステップを近似しており、ブロック出力と損失の負の勾配との間のコサイン類似度が高く（最大0.85）、これが裏付けられている。
• 下位の残差ブロックは主に階層的表現学習を実行するが、上位のブロックは反復的精緻化に特化しており、ショートカット接続のおかげでこの分業が可能になっている。
• 上位の残差ブロックをナーブに共有すると深刻な過学習と勾配爆発が発生し、検証精度が非共有モデルと比較して最大15%低下する。
• γを0.1に初期化した非共有バッチ正則化（UBN）は、活性化および勾配爆発を効果的に抑制し、過学習を軽減し一般化性能を向上させる。
• 元の深さを超えてResNetをアンロールしても、訓練損失は改善され、テスト損失は低く維持されるため、延長された推論ステップに対しても耐性があることが示された。
• アブレーションスタディにより、バッチ正則化の統計量とγ/βを両方非共有することが不可欠であることが確認され、特に統計量の非共有が共有された残差ネットワークの安定化に重要であることが分かった。