[論文レビュー] Characterizing signal propagation to close the performance gap in unnormalized ResNets

Andrew Brock, Soham De+1 more|arXiv (Cornell University)|Jan 21, 2021

Domain Adaptation and Few-Shot Learning参考文献 72被引用数 21

ひとこと要約

この論文は、バッチ正規化やその他の正規化層を用いずに、ImageNet性能で最先端の結果を達成する正規化フリーな深層ResNetアーキテクチャを提案する。信号伝播プロットとスケーリングされた重み標準化を導入することで、ReLU/Swishネットワークにおける信号の成長を安定化させ、288層に達するような深層ネットワークですら、さまざまなFLOP予算においてBN-ResNetと同等またはそれ以上の精度を達成できるようになった。

ABSTRACT

Batch Normalization is a key component in almost all state-of-the-art image classifiers, but it also introduces practical challenges: it breaks the independence between training examples within a batch, can incur compute and memory overhead, and often results in unexpected bugs. Building on recent theoretical analyses of deep ResNets at initialization, we propose a simple set of analysis tools to characterize signal propagation on the forward pass, and leverage these tools to design highly performant ResNets without activation normalization layers. Crucial to our success is an adapted version of the recently proposed Weight Standardization. Our analysis tools show how this technique preserves the signal in networks with ReLU or Swish activation functions by ensuring that the per-channel activation means do not grow with depth. Across a range of FLOP budgets, our networks attain performance competitive with the state-of-the-art EfficientNets on ImageNet.

研究の動機と目的

• 正規化層を一切使用せずに、正規化ありと正規化なしのResNetsの性能差を埋めること。
• ReLU/Swish非線形性によって、活性化の平均が深さに応じて増大するという、正規化なしResNetsにおける失敗モードを特定・解消すること。
• ImageNetで最先端の性能を達成するか、それを上回る正規化フリーな深層ResNetsを訓練するための一般的な手法を構築すること。
• 本手法が、セマンティックセグメンテーションや深度推定などの下流タスクへも適用可能であることを示すこと。

提案手法

• 深層残差ネットワークにおける初期化時の信号ダイナミクスを可視化・分析するために、信号伝播プロット（SPPs）を導入する。
• ガウス分布の重みを用いたReLU/Swishネットワークでは、活性化の平均が深さに伴い増大するため、正規化なしResNetsの性能劣化が生じることを特定する。
• 深さに伴う信号平均の増大を防ぐことで、平均信号を安定化させる「スケーリングされた重み標準化」——重み標準化の改良版——を提案する。
• 標準的なResNetsおよびRegNetsにスケーリングされた重み標準化を適用し、コン pound スケーリングと組み合わせることで、正規化フリーなモデルを構築する。
• 残差ブランチの初期化をゼロとし、初期化時における恒等写像のバイアスを維持するための学習可能スカラーを用いる。
• 追加の正則化を一切用いずに、標準的な訓練プロトコルに従い、ImageNet、Pascal VOCセマンティックセグメンテーション、NYU Depth v2で性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 ReLUまたはSwish活性化関数を用いた正規化なしResNetsは、深層学習が可能であるにもかかわらず、なぜバッチ正規化を施した場合に比べて性能が劣るのか？
• RQ2 初期化段階で、正規化なしResNetsにおける信号伝播をどのように診断・制御すれば、BN性能に達することができるか？
• RQ3 スケーリングされた重み標準化は、活性化の平均増大を効果的に安定化させ、正規化層なしで高精度な学習を可能にするのか？
• RQ4 正規化フリーなResNetsは、さまざまなアーキテクチャとFLOP予算において、どの程度最先端の性能を達成できるのか？
• RQ5 正規化フリーなモデルは、セマンティックセグメンテーションや深度推定などの下流ビジョンタスクへどの程度汎用的に適用可能なのか？

主な発見

• スケーリングされた重み標準化は、深層ReLU/Swishネットワークにおける活性化平均の増大を効果的に防止し、正規化なしResNetsにおける主要な失敗モードを解消した。
• 提案手法による正規化フリーなResNetsは、さまざまなFLOP予算において、EfficientNetsと同等のImageNetテスト精度を達成した。
• ImageNetにおいて、最良の正規化フリーなResNet-288はトップ1精度84.6%を達成し、BN-ResNetのベースラインと同等またはそれ以上であった。
• Pascal VOCにおけるセマンティックセグメンテーションでは、すべての深さバージョンにおいて、正規化フリーなResNetsがBN対応モデルと比較してmIoUスコアで1%以内の差に留まった。
• NYU Depth v2では、正規化フリーなモデルが、% <1.25エラーおよび相対誤差といった主要指標において、BN-ResNetと同等またはわずかに優れた性能を示した。
• 本手法はRegNetアーキテクチャへも一般化可能であり、コンパoundスケーリングを組み合わせた正規化フリーなモデルを構築でき、現在のImageNet SOTAを達成または上回った。