[論文レビュー] SelfNorm and CrossNorm for Out-of-Distribution Robustness

Zhiqiang Tang, Yunhe Gao+4 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 13

ひとこと要約

本稿では、深層ニューラルネットワークにおける分布外（OOD）一般化を向上させる2つの新しい正則化手法、SelfNorm と CrossNorm を提案する。SelfNorm は自己注意機構を用いてチャネルごとの統計を再キャリブレーションするのに対し、CrossNorm は特徴マップ間で統計を転送する。両手法を組み合わせることで、さまざまな学習設定下で視覚および言語タスクにおけるロバスト性が向上する。

ABSTRACT

Normalization techniques are crucial in stabilizing and accelerating the training of deep neural networks. However, they are mainly designed for the independent and identically distributed (IID) data, not satisfying many real-world out-of-distribution (OOD) situations. Unlike most previous works, this paper presents two normalization methods, SelfNorm and CrossNorm, to promote OOD generalization. SelfNorm uses attention to recalibrate statistics (channel-wise mean and variance), while CrossNorm exchanges the statistics between feature maps. SelfNorm and CrossNorm can complement each other in OOD generalization, though exploring different directions in statistics usage. Extensive experiments on different domains (vision and language), tasks (classification and segmentation), and settings (supervised and semi-supervised) show their effectiveness.

研究の動機と目的

• IIDデータに最適化された従来の正則化手法は、分布外（OOD）データでは性能を発揮しないという限界に対処する。
• 分布の仮定やデータ拡張に依存せずに、深層ニューラルネットワークにおけるOOD一般化を向上させる。
• ロバストネスを向上させるために、統計（平均と分散）を動的に修正する正則化メカニズムを設計する。
• 注目に基づく統計再キャリブレーションと特徴マップ間の統計操作の補完的役割が、一般化性能の向上に寄与するかを調査する。

提案手法

• SelfNorm は、特徴マップ内のチャネルごとの平均および分散統計を動的に再キャリブレーションするために、学習可能な自己注意機構を採用する。
• CrossNorm は、異なる特徴マップ間で統計（平均と分散）を交換することで、表現の多様性とロバスト性を向上させる。
• 両手法とも微分可能であり、計算オーバーヘッドを最小限に抑えつつ、既存の深層学習アーキテクチャに容易に統合可能である。
• SelfNorm は注目を用いた内部特徴の再キャリブレーションに焦点を当てているのに対し、CrossNorm は特徴マップ間の統計的相互作用を促進する。
• これらの手法はネットワークアーキテクチャに依存せず、視覚および言語タスクに応用可能である。
• 標準的なバックプロパゲーションを用いてエンドツーエンドで学習可能であり、教師ありおよび半教師あり学習と両立可能である。

実験結果

リサーチクエスチョン

• RQ1 チャネルごとの統計に対する注目に基づく再キャリブレーションは、深層ネットワークにおけるOOD一般化を向上させるか？
• RQ2 特徴マップ間の統計交換は、分布シフトに対するロバストネスを向上させるか？
• RQ3 SelfNorm と CrossNorm は、異なるドメインにおいてOODパフォーマンスの向上に相乗効果をもたらすか？
• RQ4 これらの手法は、半教師ありおよび低データ環境でも効果的か？
• RQ5 これらの正則化手法は、アーキテクチャの変更なしに、視覚および言語タスクに一般化可能か？

主な発見

• SelfNorm と CrossNorm は、複数の視覚および言語ベンチマークでOOD一般化を顕著に向上させる。
• SelfNorm と CrossNorm の組み合わせは、標準的な正則化層よりも優れたOODロバストネスを達成する。
• これらの手法は教師ありおよび半教師あり学習設定においても有効であり、データが限られた状況下でも優れた一般化性能を示す。
• 実験では、分布シフト下でのOOD検出および精度向上において一貫した性能向上が確認された。
• 追加のデータやアーキテクチャ変更なしに、これらの正則化手法は従来の正則化手法を上回る性能を発揮する。
• アブレーションスタディにより、SelfNorm と CrossNorm がそれぞれ独自にロバストネスに寄与しており、補完的な設計が妥当であることが確認された。