[論文レビュー] Improving Out-of-Distribution Generalization by Adversarial Training with Structured Priors

Qixun Wang, Yifei Wang+2 more|arXiv (Cornell University)|Oct 13, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本論文は、ドメイン固有の事前知識に基づいて構造化された低ランク摂動を用いることで、分布外一般化を向上させる2つの adversarial training 法—Matrix Adversarial Training (MAT) と Low-Rank Adversarial Training (LDAT)—を提案する。摂動をドメイン全体にわたって普遍的で低次元の構造に制約することで、誤った特徴量への依存を低減し、DomainBed ベンチマークにおいて、標準的な経験的リスク最小化やサンプル単位の adversarial training よりも最先端の性能を達成する。

ABSTRACT

Deep models often fail to generalize well in test domains when the data distribution differs from that in the training domain. Among numerous approaches to address this Out-of-Distribution (OOD) generalization problem, there has been a growing surge of interest in exploiting Adversarial Training (AT) to improve OOD performance. Recent works have revealed that the robust model obtained by conducting sample-wise AT also retains transferability to biased test domains. In this paper, we empirically show that sample-wise AT has limited improvement on OOD performance. Specifically, we find that AT can only maintain performance at smaller scales of perturbation while Universal AT (UAT) is more robust to larger-scale perturbations. This provides us with clues that adversarial perturbations with universal (low dimensional) structures can enhance the robustness against large data distribution shifts that are common in OOD scenarios. Inspired by this, we propose two AT variants with low-rank structures to train OOD-robust models. Extensive experiments on DomainBed benchmark show that our proposed approaches outperform Empirical Risk Minimization (ERM) and sample-wise AT. Our code is available at https://github.com/NOVAglow646/NIPS22-MAT-and-LDAT-for-OOD.

研究の動機と目的

• 標準的なサンプル単位の adversarial training (AT) が大規模な分布シフトに耐えられず、分布外一般化性能が著しく低下することへの対処。
• 構造的で低ランクの摂動が、分布外設定における誤った相関関係に対する頑健性を向上させることの可能性の調査。
• ドメインレベルの事前知識を明示的に組み込んだ新しい AT 変種の開発と検証。これにより、分布内性能を超えた一般化性能の向上を実現すること。
• 理論的および実験的に、ドメイン単位の構造的摂動が、有限時間の勾配降下法において誤った特徴量への依存がゼロに収束する速度を加速することの証明。

提案手法

• 各ドメインごとに共有される低ランク摂動行列を学習し、そのドメイン内のすべてのサンプルに一様に適用する Matrix Adversarial Training (MAT) を提案。
• ドメイン固有の摂動を低ランク分解することでパラメータの複雑さを低減し、一般化性能を向上させる Low-Rank Adversarial Training (LDAT) を導入。
• サンプル単位の AT が各サンプルごとに固有の高次元摂動を適用するのに対し、ドメイン内にわたって普遍的な摂動を適用する構造化された摂動を用いた adversarial training を適用。
• 勾配ベース最適化により、モデルと摂動行列を同時に学習。摂動を低ランク構造に制約することで、背景やスタイルへの不変性を促進。
• ドメインレベルの事前知識を用いて摂動の構築をガイドし、ランダムノイズではなく意味のある低次元の分布シフトを捉えるようにする。
• 理論的分析により、MAT および LDAT における構造的摂動が、有限時間の勾配降下法において誤った特徴量への依存がゼロに収束する速度を加速することが示された。

実験結果

リサーチクエスチョン

• RQ1 サンプル単位の adversarial training は、大規模な摂動に対処できないため、分布外データへの一般化が著しく劣るのか？
• RQ2 adversarial training においてドメイン単位の低ランク構造的摂動は、標準的な AT よりも分布外一般化性能を向上させるのか？
• RQ3 構造的摂動は、背景やスタイルといった誤った特徴量へのモデルの依存にどのように影響を与えるか？
• RQ4 摂動の数 (k) とランク (l) の値が MAT および LDAT の性能に与える影響は何か？
• RQ5 提案手法は再トレーニングなしに多様な分布外ベンチマークに一般化可能か？

主な発見

• MAT および LDAT は、DomainBed ベンチマークの5つのすべてのデータセットにおいて、標準的な経験的リスク最小化 (ERM) やサンプル単位の adversarial training よりも優れた性能を示した。
• PACS データセットでは、MAT が 82.3% の正確度、LDAT が 82.6% を達成し、ERM (79.8%) や標準的な AT (73.0%) を上回った。
• Grad-CAM を用いた可視化により、MAT および LDAT は物体領域に注目しているのに対し、ERM や AT は背景や誤った特徴量に強く依存していることがわかった。
• 摂動の数 (k) やランク (l) が小さすぎる（例：5）または大きすぎる（例：1000）と、性能が著しく低下し、最適な中間範囲があることが示された。
• あるデータセットで選択された最適なハイパーパramータ (k と l) が他のデータセットに対しても良好に一般化されることから、手法のドメイン間での頑健性と転送可能性が示された。
• 理論的分析により、MAT および LDAT における構造的摂動が、有限時間の勾配降下法において誤った特徴量への依存がゼロに収束する速度を加速することが確認された。