[論文レビュー] NCoRE: Neural Counterfactual Representation Learning for Combinations of Treatments

Sonali Parbhoo, Stefan Bauer+1 more|arXiv (Cornell University)|Mar 20, 2021

Advanced Causal Inference Techniques参考文献 40被引用数 5

ひとこと要約

NCoRE は、複数の同時処置がある設定における反事後的推論のための新しいニューラルネットワークフレームワークであり、分岐した条件付き表現内に学習可能な処置相互作用モジュレータを用いて処置間相互作用をモデル化する。合成データ、準合成データ、実世界のベンチマークにおいて、最新の手法を著しく上回り、処置の組み合わせが複雑になるほどその優位性が顕著になる。

ABSTRACT

Estimating an individual's potential response to interventions from observational data is of high practical relevance for many domains, such as healthcare, public policy or economics. In this setting, it is often the case that combinations of interventions may be applied simultaneously, for example, multiple prescriptions in healthcare or different fiscal and monetary measures in economics. However, existing methods for counterfactual inference are limited to settings in which actions are not used simultaneously. Here, we present Neural Counterfactual Relation Estimation (NCoRE), a new method for learning counterfactual representations in the combination treatment setting that explicitly models cross-treatment interactions. NCoRE is based on a novel branched conditional neural representation that includes learnt treatment interaction modulators to infer the potential causal generative process underlying the combination of multiple treatments. Our experiments show that NCoRE significantly outperforms existing state-of-the-art methods for counterfactual treatment effect estimation that do not account for the effects of combining multiple treatments across several synthetic, semi-synthetic and real-world benchmarks.

研究の動機と目的

• 複数の処置が同時に適用される状況における処置効果推定という課題に取り組むこと。これは因果推論分野において一般的ではあるが、十分に検討されていない設定である。
• 観察データにおける処置の組み合わせの組み合わせ的爆発的増加を克服すること。特に、多くの組み合わせが観測されていない場合に有効である。
• 一般化を向上させるために、処置間相互作用を捉えるスケーラブルで表現力のあるモデルの開発を目的とする。
• 従来の反事後的推論手法を、単一または逐次的処置にとどまらず、複数の同時処置の設定にまで拡張すること。
• 高次元データやバイアスがかかる観察データを含む多様なデータ環境において、性能と頑健性の向上を実証すること。

提案手法

• NCoRE は、共有サブネットワークと処置固有サブネットワークを備えた分岐した条件付きニューラル表現を採用し、個々の処置効果をモデル化する。
• 処置間相互作用を明示的にモデル化するため、学習可能な処置相互作用モジュレータを導入する。
• 共変量と処置集合を条件とする条件付き表現を用いることで、任意の処置の組み合わせに対する反事後的予測を可能にする。
• 相互作用サブネットワークは処置ペア間でパラメータを共有することで、知識の転送を促進し、より高いサンプル効率を実現する。
• 反事後的予測のための表現品質を向上させるために、対照学習の目的関数を用いてエンドツーエンドでモデルを訓練する。
• 学習された相互作用パターンを活用することで、まれなまたは観測されていない処置の組み合わせへの外挿が可能になる。

実験結果

リサーチクエスチョン

• RQ1 多くの処置の組み合わせがデータに存在しない状況において、ニューラルモデルが同時に適用される処置の組み合わせの反事後的表現を効果的に学習できるか。
• RQ2 処置を独立して扱う手法と比較して、処置間相互作用を明示的にモデル化することで性能がどのように向上するか。
• RQ3 処置数の増加やサンプル数の減少に伴い、NCoRE はどのようにスケーリングするか。
• RQ4 観察データにおける処置割り当てバイアスに対して、NCoRE はどの程度頑健であるか。
• RQ5 多遺伝子ノックアウト実験のような状況で、NCoRE は未観測の処置の組み合わせに一般化できるか。

主な発見

• NCoRE は、合成データ、準合成データ、実世界のベンチマークのすべてにおいて、Deconfounder や他の最先端手法を著しく上回る性能を発揮した。
• シミュレートされたデータセットでは、NCoRE は処置数が増加するにつれて RMSE が最小を維持し、性能の差が広がる傾向を示した。
• NCoRE は少ない訓練サンプルでも低い RMSE を達成しており、共有された相互作用モデリングのおかげで優れたサンプル効率を示した。
• NCoRE は処置割り当てバイアスのレベル（κ ∈ [5, 20]）が広い範囲にわたり、常にベースラインを上回る頑健な性能を示した。
• CRISPR-Cas9 を用いた多遺伝子ノックアウト実験では、NCoRE が未観測の三重ノックアウト組み合わせに成功して外挿を実現し、一般化能力を実証した。
• 相互作用サブネットワークの導入が不可欠であったことが、アブレーション実験で明らかになった。相互作用をモデル化しないと性能が著しく低下した。