[論文レビュー] Counterfactual Normalization: Proactively Addressing Dataset Shift and Improving Reliability Using Causal Mechanisms

Adarsh Subbaswamy, Suchi Saria|arXiv (Cornell University)|Aug 9, 2018

Bayesian Modeling and Causal Inference参考文献 30被引用数 15

ひとこと要約

本稿では、反事後変数を用いて不安定な経路を特定・分離することで、観測されていない交絡要因を含む環境依存的関係を除去することにより、データセットシフトに対するモデルの頑健性を能動的に向上させる、因果的機械学習手法である反事後正規化（Counterfactual Normalization）を提案する。この手法は、脆弱な変数をその反事後版に置き換えることで、実装時の信頼性を高め、わずかな訓練精度の損失を伴いながらも、異なるドメインにわたって一般化性能を向上させるモデルを実現する。

ABSTRACT

Predictive models can fail to generalize from training to deployment environments because of dataset shift, posing a threat to model reliability and the safety of downstream decisions made in practice. Instead of using samples from the target distribution to reactively correct dataset shift, we use graphical knowledge of the causal mechanisms relating variables in a prediction problem to proactively remove relationships that do not generalize across environments, even when these relationships may depend on unobserved variables (violations of the "no unobserved confounders" assumption). To accomplish this, we identify variables with unstable paths of statistical influence and remove them from the model. We also augment the causal graph with latent counterfactual variables that isolate unstable paths of statistical influence, allowing us to retain stable paths that would otherwise be removed. Our experiments demonstrate that models that remove vulnerable variables and use estimates of the latent variables transfer better, often outperforming in the target domain despite some accuracy loss in the training domain.

研究の動機と目的

• 訓練環境とデプロイメント環境の間で分布が変化する（データセットシフト）ことによって引き起こされる予測モデルの問題に対処すること。
• 失敗した一般化が危険な予測を引き起こす可能性がある医療分野など、安全が求められるアプリケーションにおけるモデル信頼性の向上。
• 観測された交絡要因が存在しない状況でも、因果的知識を活用して不安定な関係を特定・除去する能動的アプローチの開発。
• 脆弱な変数を反事後版に置き換えることで、安定した統計的影響を分離し、モデルの一般化性能を向上させること。
• 因果的に根拠を持つ反事後特徴を用いることで、従来の調整ベース手法の解釈可能性の低い代替手段を提供すること。

提案手法

• 入力特徴、目的変数、潜在的交絡要因の間の関係をモデル化するための因果的グラフ（DAG）を構築する。
• d-分離および因果的グラフ解析を用いて、特に観測されていない交絡要因や選択バイアスに依存する不安定な統計的影響経路を持つ変数を同定する。
• 脆弱な変数（政策依存の分布を示す治療や合併症など）を、不安定な経路を断つ反事後版に置き換える。
• 潜在的反事後変数を導入し、代替介入（例：「治療されなかった場合の血圧」）のもとでの結果をモデル化する。これにより、安定した因果的効果が保持される。
• モデルは、これらの反事後特徴を条件変数として用いて学習させ、予測が安定的かつ不変な関係にのみ依存するようにする。
• ロジスティック回帰モデルを用いた評価手法として、バイアスがかかる訓練データで学習し、バイアスのないテストデータで性能を評価し、AUROCおよびAUPRCを用いて比較する。

実験結果

リサーチクエスチョン

• RQ1 観測されていない交絡要因が「観測されていない交絡要因なし」の仮定を破る状況下で、反事後正規化がデータセットシフト下でのモデル一般化性能を向上させることができるか？
• RQ2 脆弱な変数を反事後版に置き換えることで、異なるデプロイメント環境における性能がより安定するか？
• RQ3 バイアスのあるおよびバイアスのないテスト分布において、反事後正規化モデルの性能は、脆弱な変数を用いた標準モデルと比べてどうなるか？
• RQ4 反事後特徴は、観測された政策や交絡要因の分布に依存せずに、信頼性をどの程度向上させるか？
• RQ5 ターゲットドメインデータにアクセスできない状況下で、反事後正規化は反応型ドメイン適応手法を上回る性能を示せるか？

主な発見

• バイアスのないテストデータでは、反事後正規化モデルの平均AUPRCは0.30に達し、脆弱モデル（0.24）を顕著に上回り、環境間での安定性も高いことが確認された。
• バイアスのある訓練データでは、反事後正規化モデルのAUPRCは0.38と、脆弱モデル（0.45）よりわずかに低く、訓練性能の妥当なトレードオフが確認された。
• 反事後正規化モデルでは、訓練ドメインとテストドメイン間の性能差（AUPRCの低下）が0.06にとどまり、脆弱モデルの0.21と比べて著しく小さく、頑健性の向上が示された。
• 反事後正規化モデルにおいても、脆弱な変数を用いたバージョンはバイアスのないデータでは非脆弱バージョンより性能が悪く、反事後特徴を効果的に活用できていないことが示された。
• 本手法は、観測されていない交絡要因や選択バイアスからの不安定な影響を除去することで、安定した因果的経路を的確に特定し、デプロイメント時のより信頼できる予測を可能にした。
• 結果から、反事後正規化により、訓練データに系統的なバイアスが存在する場合でも、未観測の環境への一般化性能が向上することが実証された。