[論文レビュー] Adversarially Adaptive Normalization for Single Domain Generalization

Xinjie Fan, Qifei Wang+4 more|arXiv (Cornell University)|Jun 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 9

ひとこと要約

本稿では、ニューラルネットワークを介して特徴マップのドメイン適応統計を学習する、新たな正規化手法である適応標準化・スケーリング正規化（ASR-Norm）を提案する。敵対的ドメイン拡張（ADA）と組み合わせることで、未観測ドメインにおける一般化性能が向上し、Digits、CIFAR-10-C、PACSベンチマークでそれぞれ平均1.6%、2.7%、6.3%の向上を達成する。この向上効果はADA手法の選択に依存しない。

ABSTRACT

Single domain generalization aims to learn a model that performs well on many unseen domains with only one domain data for training. Existing works focus on studying the adversarial domain augmentation (ADA) to improve the model's generalization capability. The impact on domain generalization of the statistics of normalization layers is still underinvestigated. In this paper, we propose a generic normalization approach, adaptive standardization and rescaling normalization (ASR-Norm), to complement the missing part in previous works. ASR-Norm learns both the standardization and rescaling statistics via neural networks. This new form of normalization can be viewed as a generic form of the traditional normalizations. When trained with ADA, the statistics in ASR-Norm are learned to be adaptive to the data coming from different domains, and hence improves the model generalization performance across domains, especially on the target domain with large discrepancy from the source domain. The experimental results show that ASR-Norm can bring consistent improvement to the state-of-the-art ADA approaches by 1.6%, 2.7%, and 6.3% averagely on the Digits, CIFAR-10-C, and PACS benchmarks, respectively. As a generic tool, the improvement introduced by ASR-Norm is agnostic to the choice of ADA methods.

研究の動機と目的

• 訓練時とテスト時の統計のドメインシフトに起因するバッチ正規化（BN）の単一ドメイン一般化における限界を解消すること。
• 訓練時に1つのソースドメインしか利用できない状況下で、多様で未観測のドメインにわたるモデルの一般化性能を向上させること。
• 既存の敵対的ドメイン拡張（ADA）技術と併用可能な汎用的な正規化手法を開発すること。
• ドメイン差が大きい状況下でBNやBN-Testの不安定さと性能低下を、適応的正規化統計の学習によって克服すること。
• 入力固有の統計に適応するエンドツーエンド微分可能な正規化により、ロバストでドメイン不変な特徴学習を可能にすること。

提案手法

• 入力特徴からドメイン適応統計を学習する別個のニューラルネットワークを用いて、標準化（平均）およびスケーリング（分散）統計を学習する正規化レイヤーであるASR-Normを提案する。
• 入力特徴からドメイン適応正規化パラメータを予測する、自己符号化器構造のネットワークを用いる。
• 訓練の安定化のため残差接続を統合し、学習可能な重みを用いて学習済み統計を調整する。
• ドメインシフトに対するロバスト性を最適化するために、ASR-NormをADAフレームワーク内でエンドツーエンドで訓練する。
• 入力依存統計と残差学習を組み合わせた微分可能な操作として正規化を定式化する。
• 学習統計を調整することで、BN、IN、LN、GN、SNを特別なケースとしてASR-Normに統合可能とする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な正規化レイヤーは、ドメインシフトが大きい状況下でも単一ドメイン一般化の性能向上に寄与するか？
• RQ2 固定統計（バッチ正規化由来）よりも、適応的正規化統計を学習することで未観測ドメインで優れた性能が得られるか？
• RQ3 ドメインシフトの程度が高まる状況下でも、ASR-Normの性能はどのように変化するか、特にドメイン差が大きい場合に有効か？
• RQ4 ASR-Normは、アーキテクチャの変更なしに、さまざまなADA手法とプラグインモジュールとして組み込めるか？
• RQ5 ASR-Normレイヤーの数や隠れ次元を拡大した際の、モデルの複雑さと性能のトレードオフは何か？

主な発見

• ASR-Normは、Digits、CIFAR-10-C、PACSベンチマークでそれぞれ平均1.6%、2.7%、6.3%の向上を達成し、最先端のADA手法を上回る。
• PACSにおいて、$C_{\text{stan}} = C/16$ としてすべての正規化レイヤーにASR-Normを適用すると、パrameterは4.1%増加するが、精度は66.5%まで向上する。
• $C_{\text{stan}}$ を $C/2$ に引き上げると、精度は68.1%に達し、パrameterは16.4%増加する。性能向上は非線形的であることが示唆される。
• CIFAR-10-Cの高汚染度ベンチマークにおいて、ASR-NormはBNおよびINを上回り、ドメイン差が大きくなるほど顕著な優位性を示す。
• 敵対的攻撃下でも52.2%の精度を達成し、BN（32.0%）およびIN（46.9%）を大きく上回り、ロバスト性の向上が確認された。
• 残差学習部は不可欠である。これを省略すると、訓練が不安定化し、NaN値が発生する。