[論文レビュー] Do Normalization Layers in a Deep ConvNet Really Need to Be Distinct?

Ping Luo, Zhanglin Peng+2 more|arXiv (Cornell University)|Nov 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 30被引用数 6

ひとこと要約

本稿では、深層畳み込みニューラルネットワークの異なる層が、一様なアプローチではなく、それぞれに異なる正則化手法を用いるべきかどうかを調査する。各層でバッチ正則化（BN）、インスタンス正則化（IN）、レイヤー正則化（LN）のうち、適切なものを学習で選択する「スイッチャブル正則化（SN）」機構を提案する。結果として、ImageNet、COCO、Cityscapes、ADE20Kの複数のベンチマークで、層ごとの正則化手法選択を許容することで、モデルの性能と一般化性能が向上することが示された。選択の主な要因は、最適化設定ではなく、深さとバッチサイズであることが判明した。

ABSTRACT

Yes, they do. This work investigates a perspective for deep learning: whether different normalization layers in a ConvNet require different normalizers. This is the first step towards understanding this phenomenon. We allow each convolutional layer to be stacked before a switchable normalization (SN) that learns to choose a normalizer from a pool of normalization methods. Through systematic experiments in ImageNet, COCO, Cityscapes, and ADE20K, we answer three questions: (a) Is it useful to allow each normalization layer to select its own normalizer? (b) What impacts the choices of normalizers? (c) Do different tasks and datasets prefer different normalizers? Our results suggest that (1) using distinct normalizers improves both learning and generalization of a ConvNet; (2) the choices of normalizers are more related to depth and batch size, but less relevant to parameter initialization, learning rate decay, and solver; (3) different tasks and datasets have different behaviors when learning to select normalizers.

研究の動機と目的

• 深層ネットワーク内の異なる畳み込み層が、一様なアプローチではなく、それぞれに異なる正則化手法を用いるべきかどうかを調査すること。
• 深層ネットワークにおける正則化手法選択に影響を与える要因（例：深さ、バッチサイズ、学習ダイナミクス）を理解すること。
• 学習された正則化手法選択が、画像認識、物体検出、セマンティックセグメンテーションといった多様な視覚タスクに一般化するかを評価すること。
• 正則化手法の多様性がモデルの一般化性能および学習安定性に与える影響について、実証的知見を提供すること。

提案手法

• 著者らは、各層に対して複数の正則化手法（例：BN、IN、LN）の重み付き組み合わせを学習する「スイッチャブル正則化（SN）」を採用する。
• SNは、複数の正則化手法からの平均および分散推定値の重み付き平均を用いて特徴を正則化し、正則化手法の重みは候補正則化手法のセットに対してソフトマックスにより学習される。
• この手法は各畳み込み層の後に適用され、訓練中に各層が最も適切な正則化手法を動的に選択できるようにする。
• 性能と選択ダイナミクスの評価のため、ResNet、Mask R-CNN、DeepLabv2を用いてImageNet、COCO、Cityscapes、ADE20Kで実験を実施する。
• ネットワークの深さ、バッチサイズ、タスクごとの正則化手法比率の学習ダイナミクスを分析し、影響要因を同定する。
• 再現性の確保と再利用を目的として、事前学習済みおよび微調整済みモデルを含む再現可能なコードベースを公開する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みネットワークの各正則化層が、複数の正則化手法の中から自らの正則化手法を選択可能であることは、性能向上に寄与するか？
• RQ2 異なる層や学習設定において、正則化手法選択に最も顕著に影響を与える要因は何か？
• RQ3 画像認識、検出、セグメンテーションといった異なるタスクやデータセットは、それぞれ異なる正則化手法の設定やダイナミクスを好むか？
• RQ4 学習率の減衰スケジュール、最適化手法、重み初期化といった訓練ハイパーパrameterが、正則化手法選択に与える影響は何か？
• RQ5 学習された正則化手法選択は、異なるベンチマークでの事前学習と微調整の間で一般化可能か？

主な発見

• 各層で異なる正則化手法を用いることで、ImageNet、COCO、Cityscapes、ADE20Kのすべてのデータセットで学習収束性と一般化性能が向上した。
• 正則化手法の選択は、主にネットワークの深さとバッチサイズに強く影響を受けており、バッチサイズが増加するにつれてBNの比率が上昇し、IN/LNの比率が低下する傾向を示した。
• BNの比率は深さに対して逆比例し、LNの比率は深さとともに増加する傾向にある。これは、より深い層がLNの空間統計不変性の恩恵をより大きく受けていることを示唆している。
• 正則化手法選択は、重み初期化のランダム性、学習率減衰スケジュール（例：コサイン減衰）や最適化手法の種類（例：モーメンタム付きSGD vs. RMSProp）に対しては、あまり感受性が低かった。
• 認識、検出、セグメンテーションといった異なるタスクでは、正則化手法選択のダイナミクスに顕著な違いが見られ、特に微調整段階で中間層のBN使用率が上昇する傾向を示した。
• 大きなバッチサイズで事前学習し、小さなバッチサイズで微調整すると、バッチ統計の不安定性により性能が劣化する傾向があることから、事前学習と微調整におけるバッチサイズの一貫性が極めて重要であることが明らかになった。