[論文レビュー] Adversarial Style Augmentation for Domain Generalization

Yabin Zhang, Bin Deng+3 more|arXiv (Cornell University)|Jan 30, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ミニバッチの制約を超えて最適な特徴統計量の摂動（平均と標準偏差）を敵対的に学習することで、モデルのロバスト性を向上させる、新しいドメイン一般化手法である敵対的スタイル増強（ASA）を提案する。敵対的訓練により摂動の方向と強度を同時に最適化し、プラグアンドプレイ型モジュールであるAdvStyleとして実装することで、SOTA性能を達成し、PACSデータセットにおけるResNet-50の精度を単一ソース一般化設定下で61.2%から67.1%まで向上させた。

ABSTRACT

It is well-known that the performance of well-trained deep neural networks may degrade significantly when they are applied to data with even slightly shifted distributions. Recent studies have shown that introducing certain perturbation on feature statistics (\eg, mean and standard deviation) during training can enhance the cross-domain generalization ability. Existing methods typically conduct such perturbation by utilizing the feature statistics within a mini-batch, limiting their representation capability. Inspired by the domain generalization objective, we introduce a novel Adversarial Style Augmentation (ASA) method, which explores broader style spaces by generating more effective statistics perturbation via adversarial training. Specifically, we first search for the most sensitive direction and intensity for statistics perturbation by maximizing the task loss. By updating the model against the adversarial statistics perturbation during training, we allow the model to explore the worst-case domain and hence improve its generalization performance. To facilitate the application of ASA, we design a simple yet effective module, namely AdvStyle, which instantiates the ASA method in a plug-and-play manner. We justify the efficacy of AdvStyle on tasks of cross-domain classification and instance retrieval. It achieves higher mean accuracy and lower performance fluctuation. Especially, our method significantly outperforms its competitors on the PACS dataset under the single source generalization setting, \eg, boosting the classification accuracy from 61.2\% to 67.1\% with a ResNet50 backbone. Our code will be available at \url{https://github.com/YBZh/AdvStyle}.

研究の動機と目的

• 既存のドメイン一般化手法が現在のミニバッチに制限された統計量の摂動にとどまることによる、スタイル増強の多様性の制限を是正すること。
• バッチレベルの統計量を超えて、より効果的かつ強力な統計量の摂動（平均と標準偏差）を学習することで、より広いスタイル空間を探索すること。
• 訓練中に最悪のドメインシフトを模擬することで、分類やインスタンス検索などの視覚タスクにおけるクロスドメイン一般化性能を向上させること。
• 既存のディープラーニングモデルに容易に統合可能な、シンプルでエンドツーエンドで訓練可能なモジュール（AdvStyle）を設計すること。

提案手法

• 本手法は、特徴統計量（平均と標準偏差）を学習可能なパラメータとしてモデル化し、敵対的訓練により最適化するAdversarial Style Augmentation（ASA）を導入する。
• 2プレイヤー最適化を実施：モデルは最悪の統計量摂動に対するタスク損失を最小化するように訓練される一方、摂動パラメータはタスク損失を最大化するように更新される。
• 摂動は、バッチの平均と標準偏差を中心とするガウス分布からサンプリングされ、標準偏差は学習可能なパラメータとして扱われる。
• AdvStyleモジュールは勾配反転層（GRL）を介してニューラルネットワークに統合され、エンドツーエンド訓練とプラグアンドプレイ導入を可能にする。
• 摂動の方向と強度を同時に最適化することで、訓練中に多様で挑戦的なスタイルシフトをモデルが探索可能になる。
• 摂動生成プロセスを微分可能に実装することで、バックプロパゲーションが摂動生成プロセスを通り抜けることが可能になる。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ統計量の制約を超えて、特徴統計量の摂動を敵対的に学習することで、ドメイン一般化性能が向上するか？
• RQ2 摂動の方向を探索することは、強度の調整のみに比べて、ドメイン一般化においてより効果的か？
• RQ3 提案手法のAdvStyleモジュールは、異なるドメインにおける精度とロバスト性の観点から、既存のスタイル増強手法と比較して優れているか？
• RQ4 深層ネットワークアーキテクチャにおける異なる層にAdvStyleを挿入した場合、一般化性能にどのような影響を与えるか？
• RQ5 特に摂動の強度（λ）に関して、さまざまなハイパーパrameter設定下でも本手法は安定しているか？

主な発見

• 提案されたAdvStyleモジュールは一般化性能を顕著に向上させ、単一ソース一般化設定下でPACSデータセットにおけるトップ1精度を67.1%まで向上させ、ベースラインのResNet-50（61.2%）から5.9%の絶対的向上を達成した。
• AdvStyleは、PACSで9.8ポイントも優れる最近のベースラインであるDSU（Liら、2022年）を上回り、スタイル空間の探索能力の優位性を示した。
• アブレーションスタディの結果、ResNetバックボーンの複数の位置にAdvStyleを挿入することで一貫して性能向上が見られ、解析された6つのレイヤーすべてに適用した場合に最高の結果が得られた。
• AdvStyle-Direction-Only（64.9%）は、AdvStyle-Intensity-Only（61.6%）を上回る性能を示し、摂動の方向を学習することが、強度の調整のみに比べてより効果的であることを示した。
• λの値が0.5から20の広い範囲で安定した性能を示し、λ = 5が一貫して優れた性能を発揮した。これはハイパーパrameter選択に対するロバスト性を確認した。
• t-SNEとA-distanceによる可視化により、AdvStyleがドメインの整合性を高め、分布の乖離を低減していることが確認され、有効なスタイル空間の拡張が可能であることが裏付けられた。