[論文レビュー] Improved OOD Generalization via Adversarial Training and Pre-training

Mingyang Yi, Lu Hou+5 more|arXiv (Cornell University)|May 24, 2021

Adversarial Robustness in Machine Learning参考文献 49被引用数 8

ひとこと要約

本論文は、敵対的訓練と事前学習を活用して入力のロバスト性を向上させることで、機械学習における分布外（OOD）一般化を改善する手法を提案する。理論的には、敵対的訓練によって達成される入力ロバストなモデルが、OODデータにおいてより良い一般化性能を示すことを確立し、過剰リスクが𝒪̃(1/√n + 1/T)で有界であることを示す。実験的にも、敵対的訓練および敵対的に事前学習されたモデルは、画像および自然言語処理（NLP）ベンチマークにおいてOOD性能が向上している。

ABSTRACT

Recently, learning a model that generalizes well on out-of-distribution (OOD) data has attracted great attention in the machine learning community. In this paper, after defining OOD generalization via Wasserstein distance, we theoretically show that a model robust to input perturbation generalizes well on OOD data. Inspired by previous findings that adversarial training helps improve input-robustness, we theoretically show that adversarially trained models have converged excess risk on OOD data, and empirically verify it on both image classification and natural language understanding tasks. Besides, in the paradigm of first pre-training and then fine-tuning, we theoretically show that a pre-trained model that is more robust to input perturbation provides a better initialization for generalization on downstream OOD data. Empirically, after fine-tuning, this better-initialized model from adversarial pre-training also has better OOD generalization.

研究の動機と目的

• 機械学習におけるOOD一般化の背後にある理論的理解の不足を解消すること。
• 分布シフトを測定するためにWasserstein距離を用い、入力ロバスト性とOOD一般化の関係を調査すること。
• 敵対的訓練によって入力ロバスト性が向上し、OOD一般化が改善されることを示すこと。
• 微調整の文脈における、敵対的事前学習が下流のOOD一般化の初期化をどのように改善するかを調査すること。
• 画像分類および自然言語理解タスクにおける広範な実験を通じて、理論的主張を検証すること。

提案手法

• 訓練データからの分布シフトを測定するために、Wasserstein距離を用いてOOD一般化を定式化する。
• 理論的に、入力の摂動に対してロバストなモデル—すなわち、入力摂動に強いモデル—がOODデータにおいても良好に一般化することを証明する。
• 敵対的に訓練されたモデルが、多段階のSGDにおいて𝒪̃(1/T)の収束速度を達成することを示し、OODデータにおける過剰リスクが𝒪̃(1/√n + 1/T)で有界であることを示す。
• 下流のOOD一般化のための初期化を改善するため、敵対的事前学習を提案する。
• CIFAR10、ImageNet、およびBERTベースのモデルに対して、標準的なハイパーパrameterを用いてℓ₂およびℓ∞摂動を用いた敵対的訓練を実施する。
• OOD一般化の評価にはCIFAR10-CおよびImageNet-Cの標準的な評価プロトコルを、NLUタスクにはGLUEベンチマークを用いる。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練によって誘発される入力ロバスト性は、OOD一般化の向上に寄与するか？
• RQ2 𝒪̃(1/√n + 1/T)という理論的過剰リスク境界が、OODデータ上で実証的に確認できるか？
• RQ3 敵対的事前学習は、微調整における下流のOOD一般化の初期化を改善するか？
• RQ4 敵対的訓練における摂動の大きさは、OOD一般化性能にどのように影響するか？
• RQ5 標準的な事前学習目的（例：マスキング言語モデル）は、入力ロバスト性およびOOD一般化にどの程度寄与するか？

主な発見

• CIFAR10-CおよびImageNet-Cにおいて、敵対的訓練は複数の汚染タイプにわたり、精度の向上を示し、OOD一般化が向上している。
• 画像分類タスクにおいて、ℓ₂およびℓ∞摂動を用いた敵対的訓練は、標準的な訓練に比べて一貫してOOD精度が向上している。
• SST-2、IMDB、MNLI、STS-BなどのNLPタスクにおいて、標準的な事前学習後に敵対的微調整を施すことで、OOD一般化性能が向上している。
• ImageNetで敵対的に事前学習したモデルは、CIFAR10での微調整後により良い初期化を達成し、OOD一般化性能が向上している。
• Fog、Bright、Contrastなどの汚染に対しては、小さな摂動サイズがより良いOOD性能を示しており、摂動スケールに敏感であることが示唆された。
• 標準的な事前学習（例：マスキング言語モデル）は入力ロバスト性を向上させ、より多くのデータやより多くのステップで事前学習されたモデルは、OOD一般化性能が優れている。