[論文レビュー] Linear unit-tests for invariance discovery

Benjamin Aubin, Agnieszka Słowik+3 more|arXiv (Cornell University)|Feb 22, 2021

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 13

ひとこと要約

この論文は、機械学習における分布外一般化を評価するための、6つの線形的で低次元のユニットテストの標準化されたセットを導入する。複数の環境における不変および誤った相関関係を模擬することで、最新の因果的アルゴリズム（例：IRMv1 や ANDMask）ですら一貫して不変予測子を学習できないことが明らかになり、因果性の理論的基盤があるにもかかわらず、現在の手法に深刻な欠陥が存在することを示している。

ABSTRACT

There is an increasing interest in algorithms to learn invariant correlations across training environments. A big share of the current proposals find theoretical support in the causality literature but, how useful are they in practice? The purpose of this note is to propose six linear low-dimensional problems -- unit tests -- to evaluate different types of out-of-distribution generalization in a precise manner. Following initial experiments, none of the three recently proposed alternatives passes all tests. By providing the code to automatically replicate all the results in this manuscript (https://www.github.com/facebookresearch/InvarianceUnitTests), we hope that our unit tests become a standard steppingstone for researchers in out-of-distribution generalization.

研究の動機と目的

• 異なる訓練環境において不変予測子を学習する因果的機械学習アルゴリズムの実用的効果を評価すること。
• 因果性の理論的基盤が強いにもかかわらず、既存の分布外一般化手法における欠陥を特定すること。
• 新しいアルゴリズムをテストおよび比較するための、合成線形問題を用いた標準的で再現可能なベンチマークを提供すること。
• 分布外シフトを模擬する際、経験的リスク最小化や現在の因果的アルゴリズムが誤った相関関係が存在する場合に一般化に失敗することを示すこと。
• すべての実験のオープンソースコードを公開することで、透明性と再現可能性を促進すること。

提案手法

• 著者らは、制御された不変（inv）および誤った（spu）特徴を備えた6つの合成線形問題を設計し、環境固有の干渉を伴う構造的方程式で定義する。
• データは複数の環境（n_env = 3 がデフォルト）で生成され、不変特徴が目的変数に影響を与える一方、誤った特徴は目的変数に条件付きで依存する。
• テスト分割は、例ごとに誤った特徴をランダムにシャッフルすることで作成され、誤った相関関係を破り、分布外シフトを模擬する。
• アルゴリズムは、誤った相関関係を含むデータで学習した後、テスト誤差で評価され、不変特徴のみを用いるオラクルとの比較で性能を測定する。
• 一般化への影響を調査するため、環境数（n_env）と誤った次元数（d_spu）を変化させる。
• すべての結果は、公開されたGitHubリポジトリ（https://www.github.com/facebookresearch/InvarianceUnitTests）を通じて再現可能である。

実験結果

リサーチクエスチョン

• RQ1 現在の因果学習アルゴリズムは、明確な誤った相関関係を有する低次元線形問題において、不変予測子を信頼性高く発見できるか？
• RQ2 環境数がアルゴリズムの分布外一般化能力に与える影響は何か？
• RQ3 不変特徴に比べて誤った特徴の数が増えた場合、アルゴリズムの性能はどのように変化するか？
• RQ4 なぜ IRMv1 や ANDMask といった一部のアルゴリズムは、ある問題では成功するが、他の問題では失敗するのか、理論的保証があるにもかかわらず？
• RQ5 標準的で最小限のベンチマークは、最先端の分布外一般化手法における根本的な欠陥を露呈できるか？

主な発見

• どのアルゴリズムに対しても、6つのユニットテストのいずれにおいてもオラクルに近い性能が達成されておらず、単純な線形設定においても不変相関関係を学習できない広範な失敗が示された。
• IRMv1 と ANDMask は、不変メカニズムが線形分離可能である Example1 および Example1s では良好に機能するが、Example2 および Example3 では失敗する。
• Example2 および Example2s では、誤った特徴が目的変数と完全に一致しているため、ERM が IRMv1 や ANDMask よりも優れた性能を示し、不変性に基づく手法が誤った相関関係にだまされる可能性があることを示している。
• IGA は Example1 および Example1s では ERM と同等の性能にとどまり、誤った特徴が追加されると、たとえ1つだけであっても完全に崩壊する。
• ANDMask は Example3s（誤った特徴がシャッフルされた）で失敗するが、IRMv1 は性能を維持しており、一部の状況では特徴のシャッフルに対して頑健であることが示された。
• 誤った次元数が増加するにつれて、Example3 および Example3s における性能が著しく低下し、特に n_env が固定されている場合、特徴の比率に敏感であることが明らかになった。