[論文レビュー] Causally motivated Shortcut Removal Using Auxiliary Labels

Maggie Makar, Ben Packer+4 more|arXiv (Cornell University)|May 13, 2021

Bayesian Modeling and Causal Inference参考文献 44被引用数 8

ひとこと要約

本稿では、訓練時に利用可能な補助ラベルを活用して因果グラフにおける条件付き独立性を強制することで、機械学習におけるショートカット学習を是正する因果的動機付けに基づく手法を提案する。分布シフト下でも、分布重み付けと不変性正則化を組み合わせることで、標準的な正則化および既存手法（IRM や Rex）を凌駂数学的にも実践的にも上回る、優れたロバスト性と一般化性能を達成する。

ABSTRACT

Shortcut learning, in which models make use of easy-to-represent but unstable associations, is a major failure mode for robust machine learning. We study a flexible, causally-motivated approach to training robust predictors by discouraging the use of specific shortcuts, focusing on a common setting where a robust predictor could achieve optimal \emph{iid} generalization in principle, but is overshadowed by a shortcut predictor in practice. Our approach uses auxiliary labels, typically available at training time, to enforce conditional independences implied by the causal graph. We show both theoretically and empirically that causally-motivated regularization schemes (a) lead to more robust estimators that generalize well under distribution shift, and (b) have better finite sample efficiency compared to usual regularization schemes, even when no shortcut is present. Our analysis highlights important theoretical properties of training techniques commonly used in the causal inference, fairness, and disentanglement literatures. Our code is available at https://github.com/mymakar/causally_motivated_shortcut_removal

研究の動機と目的

• スプライアス相関（誤った相関）に依存するモデルのショートカット学習を是正すること、特に分布シフト下での影響を想定する。
• 訓練時のみ利用可能な補助ラベルを活用して、モデルの予測に不変性を強制することで、一般化性能を向上させる手法の開発。
• 有限標本下での効率性とロバスト性を向上させる理論的裏付けのある、因果的動機付けに基づく正則化スキームの提供。
• 因果的重み付けと不変性制約を組み合わせることで、既存の手法（IRM や Rex）よりも優れた性能が得られることの実証。

提案手法

• 主ラベル Y と補助ラベル V が入力 X を生成する因果的 DCG を想定し、Y が X に影響するのは十分統計量 X* を介してのみである。
• 逆確率重み付けを適用して、V と Y 間のスプライアス相関が解消されたターゲット分布を模倣するように訓練データを再重み付けする。
• 異なる V グループの表現間の最大平均差（MMD）を用いて不変性ペナルティを課し、モデルの予測が V に依存しないように保証する。
• 標準的な交差エントロピーに加え、MMD を用いた不変性制約を組み込んだ正則化リスクを最小化する形で最終モデルを訓練する。
• 単一のターゲットドメインに限定されず、分布シフトの家族全体にわたってロバストであるように設計されている。
• V がカテゴリカルな場合、MMD ペナルティは対比較へ拡張可能であり、または高次元性に対応するため HSIC に置き換え可能である。

実験結果

リサーチクエスチョン

• RQ1 スプライアス相関を引き起こす不要な要因と関連する補助ラベルを用いて、分布シフトに起因する不変性を持つモデルを訓練可能か？
• RQ2 因果的重み付けと不変性正則化を組み合わせることで、標準的な正則化と比較して有限標本下での効率性とロバスト性がどのように向上するか？
• RQ3 因果的動機付けに基づくアプローチは、分布内および分布外一般化において、既存手法（IRM や Rex）を上回るか？
• RQ4 想定された因果構造下で、提案手法にどのような理論的保証が与えられるか？
• RQ5 本手法は、半シミュレーテッドベンチマークおよび実世界の医療タスクにおいて、どのように実証的に評価されるか？

主な発見

• 本手法は、特に有限標本設定下で、分布シフト下において標準的な正則化スキームよりも低い一般化誤差を達成する。
• 半シミュレーテッドベンチマークおよび実際の医療画像分類タスクにおいて、本手法は分布外一般化性能が優れていることが示された。
• 実証的結果から、本手法は IRM や Rex を上回っており、特にショートカット学習が顕著に現れる状況で顕著な優位性を示した。
• 理論的分析により、不変性制約が直交する次元を正則化することでモデルの複雑さを低減し、効率性が向上することが示された。
• ショートカットが存在しない場合でも本手法はロバストであるため、単にショートカットの是正にとどまらず、より広範な応用可能性を示している。
• 重み付けと不変性正則化の組み合わせは、単独で用いる場合よりも効果的であり、本手法のアプローチにおける相乗効果が顕著に現れている。