[論文レビュー] Improving Out-of-Distribution Robustness via Selective Augmentation

Huaxiu Yao, Yu Wang+5 more|arXiv (Cornell University)|Jan 2, 2022

Machine Learning and Data Classification被引用数 21

ひとこと要約

LISAは、選択的なミックスアップベースのaugmentationを導入して不変予測子を学習し、内部表現を制約することなくサブポピュレーションとドメインシフトに対する頑健性を向上させます。

ABSTRACT

Machine learning algorithms typically assume that training and test examples are drawn from the same distribution. However, distribution shift is a common problem in real-world applications and can cause models to perform dramatically worse at test time. In this paper, we specifically consider the problems of subpopulation shifts (e.g., imbalanced data) and domain shifts. While prior works often seek to explicitly regularize internal representations or predictors of the model to be domain invariant, we instead aim to learn invariant predictors without restricting the model's internal representations or predictors. This leads to a simple mixup-based technique which learns invariant predictors via selective augmentation called LISA. LISA selectively interpolates samples either with the same labels but different domains or with the same domain but different labels. Empirically, we study the effectiveness of LISA on nine benchmarks ranging from subpopulation shifts to domain shifts, and we find that LISA consistently outperforms other state-of-the-art methods and leads to more invariant predictors. We further analyze a linear setting and theoretically show how LISA leads to a smaller worst-group error.

研究の動機と目的

• モデル表現に対する厳密な不変性制約を課すことなく、分布シフト（サブポピュレーションおよびドメインシフト）下での頑健な性能を動機づける。
• 選択的なデータ補間を通じて不変予測子を促進する、単純で幅広く適用可能な方法を開発する。
• 多様なベンチマークで頑健性を評価し、最悪グループ誤差に関連する理論的性質を分析する。

提案手法

• 合成サンプルとラベルを作成するために、ミックスアップベースの補間フレームワークを採用する。
• 選択的 augmentation を導入する： intra-label LISA（同じラベル、異なるドメイン）と intra-domain LISA（同じドメイン、異なるラベル）。
• 特徴とラベルを補間して x_mix = λ x_i + (1-λ) x_j および y_mix = λ y_i + (1-λ) y_j を用い、λ は Beta(α,β) に従う。
• ERM目的で、元の訓練サンプルを補間ペアに置換して不変予測子を最適化する。
• 訓練中、確率 p_sel で intra-label か intra-domain のいずれかをランダムに適用する。

実験結果

リサーチクエスチョン

• RQ1 LISA は従来の手法と比べてサブポピュレーションシフトおよびドメインシフトに対する頑健性を改善できるか？
• RQ2 LISA のどの側面（intra-label と intra-domain どちらが、頑健性に最も寄与するか？）
• RQ3 LISA により学習された予測子はドメイン間でより不変性を示すか？
• RQ4 分布シフトの深刻さが増すと、LISA の性能はどうなるか？
• RQ5 LISA の最悪グループ誤差の低減を説明する理論的保証は何か？

主な発見

• LISA は、サブポピュレーションおよびドメインシフトを横断する9つのベンチマークで、広範なベースラインより一貫して優れている。
• intra-label と intra-domain の両方のバリアントが頑健性の向上に寄与し、ドメイン効果が強いときは intra-domain がしばしばより大きな改善を提供する。
• LISA はより不変な予測子を生み出し、ドメイン予測精度の低下とドメインロジット間の発散の縮小として示される。
• 理論分析は、特定の条件下で LISA が ERM およびバニラ・ミックスアップよりも最悪グループ誤差を小さくできることを示しており、特にドメインとラベルの相関が強い場合に当てはまる。