[論文レビュー] An Empirical Study of Batch Normalization and Group Normalization in Conditional Computation

Vincent Michalski, Vikram Voleti+5 more|arXiv (Cornell University)|Jul 31, 2019

Domain Adaptation and Few-Shot Learning被引用数 7

ひとこと要約

本稿は、条件付き計算タスクにおける条件付きバッチ正規化（CBN）の代替手段として、条件付きグループ正規化（CGN）の有効性を検討する。CGNはバッチサイズに依存しない一貫性のある統計を有するため、視覚的質問応答（VQA）および少数ショット学習において一般化性能が向上することが示されたが、CBNがバッチ統計により強いインダクティブバイアスを提供するため、条件付き画像生成タスクではCGNがCBNに劣ることがわかった。

ABSTRACT

Batch normalization has been widely used to improve optimization in deep neural networks. While the uncertainty in batch statistics can act as a regularizer, using these dataset statistics specific to the training set impairs generalization in certain tasks. Recently, alternative methods for normalizing feature activations in neural networks have been proposed. Among them, group normalization has been shown to yield similar, in some domains even superior performance to batch normalization. All these methods utilize a learned affine transformation after the normalization operation to increase representational power. Methods used in conditional computation define the parameters of these transformations as learnable functions of conditioning information. In this work, we study whether and where the conditional formulation of group normalization can improve generalization compared to conditional batch normalization. We evaluate performances on the tasks of visual question answering, few-shot learning, and conditional image generation.

研究の動機と目的

• 条件付き計算タスクにおいて、条件付きグループ正規化（CGN）が条件付きバッチ正規化（CBN）よりも一般化性能を向上させられるかどうかを評価すること。
• さまざまなタスク（VQA、少数ショット学習、条件付き画像生成を含む）における正規化手法の選択がモデル性能に与える影響を調査すること。
• 分布シフトや小規模バッチサイズ下でのバッチ統計とそのばらつきが一般化に与える影響を評価すること。
• CGNがバッチサイズに依存しないシンプルな統計を提供するが、これは体系的一般化タスクにおいて利点をもたらすかを特定すること。

提案手法

• 条件付きグループ正規化（CGN）を提案し、入力コンテキストに応じたパラメータを用いてグループ正規化を適用することで、CBNのバッチ統計をグループ統計に置き換える。
• チャネルをGグループに分割し、空間的およびチャネル次元にわたって各グループ内で正規化を行うグループ正規化を採用し、バッチサイズに依存しない。
• WGAN-GP生成器ネットワークの残差ブロックにCGNとCBNを適用し、条件付き画像生成タスクに加え、VQAおよび少数ショット学習モデルにも適用する。
• 標準的な評価指標を用いる：画像生成にはInceptionスコア（IS）、Fréchet Inception Distance（FID）、分類精度スコア（CAS）を、VQAおよび少数ショットタスクには精度を用いる。
• 複数のランダムシードを用いたアブレーションスタディを行い、結果を平均化することで妥当性を確保する。
• アーキテクチャおよびハイパーパramータを一定に保ちつつ、タスク間での性能比較により正規化タイプの影響を隔離する。

実験結果

リサーチクエスチョン

• RQ1 CGNは、体系的一般化を重視する視覚的質問応答タスクにおいて、CBNを上回る一般化性能を示すか？
• RQ2 少額データ環境下で体系的一般化を要する少額ショット学習シナリオにおいて、CGNはCBNと比較してどのように性能を発揮するか？
• RQ3 特に小規模バッチサイズ下において、CGNは条件付き画像生成タスクでCBNと同等または優れた性能を達成できるか？
• RQ4 CBNは分布シフトやバッチサイズの変動下で性能が低下するが、その影響をCGNは緩和できるか？
• RQ5 バッチ統計のノイズ（正則化効果）が一般化に与える影響は何か？また、CGNは他の手段でこれを補償できるか？

主な発見

• 視覚的質問応答タスクにおいて、CGNは体系的一般化を重視するタスクでCBNを上回り、分布シフトに対してより高いロバストネスを示した。
• 少額ショット学習において、CGNはCBNを一貫して上回り、低データ環境下での一般化性能の向上を示した。
• WGAN-GPを用いた条件付き画像生成において、CBNはCGNを顕著に上回り、FID（22.5 vs. 25.3）が低く、IS（8.5 vs. 8.1）が高かった。これは、生成サンプルの質と多様性に優れていることを示している。
• 分類精度スコア（CAS）の結果から、CBNが生成したデータはCGNが生成したデータよりも真のデータ分布に近いことが確認され、CASはCBNで78.2%、CGNで73.1%であった。
• CGNはトレーニング時と推論時で一貫した挙動を示し、バッチサイズ依存性がなく、それに対してCBNはバッチサイズおよび分布シフトに敏感であることが明らかになった。
• CGNはアーキテクチャの単純さとロバストネスを有するが、以前に正則化効果として示されたCBNのバッチ統計のノイズが欠落していることが、生成タスクでの性能劣化の要因である可能性がある。