[論文レビュー] BCN: Batch Channel Normalization for Image Classification

Afifa Khaled, Chao Li+2 more|arXiv (Cornell University)|Dec 1, 2023

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、バッチとチャネルの次元を別々に正規化し、学習可能なパラメータを用いて結果を適応的に融合することで、(N, H, W) および (C, H, W) 軸に沿って同時に正規化を行う、新しい正規化手法 Batch Channel Normalization (BCN) を提案する。BCN は、CNN や Vision Transformers において、一般化性能と学習速度の両面で BN や LN や他のベースラインを上回り、CIFAR-10、CIFAR-100、SVHN、ImageNet データセットで優れた性能を発揮する。

ABSTRACT

Normalization techniques have been widely used in the field of deep learning due to their capability of enabling higher learning rates and are less careful in initialization. However, the effectiveness of popular normalization technologies is typically limited to specific areas. Unlike the standard Batch Normalization (BN) and Layer Normalization (LN), where BN computes the mean and variance along the (N,H,W) dimensions and LN computes the mean and variance along the (C,H,W) dimensions (N, C, H and W are the batch, channel, spatial height and width dimension, respectively), this paper presents a novel normalization technique called Batch Channel Normalization (BCN). To exploit both the channel and batch dependence and adaptively and combine the advantages of BN and LN based on specific datasets or tasks, BCN separately normalizes inputs along the (N, H, W) and (C, H, W) axes, then combines the normalized outputs based on adaptive parameters. As a basic block, BCN can be easily integrated into existing models for various applications in the field of computer vision. Empirical results show that the proposed technique can be seamlessly applied to various versions of CNN or Vision Transformer architecture. The code is publicly available at https://github.com/AfifaKhaled/BatchChannel-Normalization

研究の動機と目的

• 小バッチ設定下でのバッチ正規化（BN）の限界および畳み込み層におけるレイヤー正規化（LN）の限界を解消すること。
• より良い特徴表現を得るために、バッチおよびチャネルの依存関係を両方活用する正規化手法を開発すること。
• さまざまなアーキテクチャに普遍的に適用可能な正規化レイヤーを構築し、学習の安定性、収束速度、モデルの一般化性能を向上させること。
• BN が制限を受けるオンライン学習や分散学習環境でも効果的に正規化を利用できるようにすること。
• 複数のビジョンベンチマークおよびモデルアーキテクチャにおいて、BCN が BN、LN、IN、GN に対して優れていることを実証的に検証すること。

提案手法

• BCN は、(N, H, W) 軸に沿った平均および分散（BN に類似）と、(C, H, W) 軸に沿った平均および分散（LN に類似）を別々に計算する。
• BCN は (N, H, W) 維度にバッチ正規化風の正規化を適用し、(C, H, W) 維度にレイヤー正規化風の正規化を適用する。
• 2つの正規化出力を、動的かつ適応的に重みづけられる学習可能なパラメータを用いて融合する。
• 適応的融合機構により、BCN は入力データの分布に基づいて最も関連性の高い統計量を自動的に優先する。
• BCN は即挿し可能であり、最小限のアーキテクチャ変更で実現可能で、既存の CNN や Vision Transformer モデルと互換性を持つ。
• 数値的安定性を確保するための小さな ε を使用し、特徴の再パラメータライゼーションに役立てる学習可能なスケール（γ）およびシフト（β）パラメータを含む。

Figure 1 : Visualization on several normalization techniques. Each subplot shows a feature map tensor with N the batch axes, C the channel axes, and (H, W) the spatial height and width axes.

実験結果

リサーチクエスチョン

• RQ1 バッチとチャネルの依存関係を同時にモデル化する正規化手法が、画像分類において標準的な BN や LN を上回ることができるか？
• RQ2 BN が通常劣化する小バッチサイズ下でも BCN は優れた性能を維持できるか？
• RQ3 BCN は畳み込みネットワークおよび Vision Transformers の両方において、学習速度と一般化性能を向上させることができるか？
• RQ4 バッチとチャネル統計量の適応的融合は、さまざまなデータセットにおいてモデルの収束性と精度にどのように影響を与えるか？
• RQ5 BCN は自己教師あり学習や ImageNet などの大規模ビジョンタスクにおいて有効であるか？

主な発見

• CIFAR-10 では、20エポック後において BCN が 84.16% の検証精度を達成したのに対し、BN は 78.58%、LN は 79.74% にとどまった。
• CIFAR-100 では、BCN が最先端の性能を達成し、BN、LN、IN、GN よりも顕著に一般化性能が向上した。
• Vision Transformer (ViT) の実験では、BN を BCN に置き換えることで、CIFAR-100 でテスト精度が 0.72%、学習精度が 0.73% 向上した。
• 非常に小規模なバッチサイズ（例：2 および 4）でも BCN は強い性能を維持し、バッチサイズ 2 で 81.42% の検証精度を達成した。
• DenseNet-201 を用いた ImageNet 実験では、図 10 および 11 に示す通り、BCN は BN よりも優れた訓練およびテスト精度を示した。
• アブレーションスタディの結果、(N, C, H, W) 全体に直接正規化を適用する手法は、BCN が採用する二重ストリームの適応的融合アプローチに比べて効果が劣ることが確認された。

Figure 10 : Training accuracy of DenseNet with ImageNet dataset.