[論文レビュー] Bounding and Minimizing Counterfactual Error.

Uri Shalit, Fredrik Johansson+1 more|arXiv (Cornell University)|Jun 13, 2016

Advanced Causal Inference Techniques被引用数 8

ひとこと要約

本稿では、バランスの取れた表現を用いた反事後誤差の新しい理論的上限を提案する。この上限は、積分確率度量（IPM）を介して、事実誤差と分布距離によって制御されることが示されている。具体的には、ワーサーテインとMMDを含むIPMが用いられる。この上限により、より単純で効果的なアルゴリズムが可能となり、実データおよびシミュレートデータにおいて、最先端の性能を達成または上回ることが可能である。

ABSTRACT

There is intense interest in applying machine learning methods to problems of causal inference which arise in applications such as healthcare, economic policy, and education. In this paper we use the counterfactual inference approach to causal inference, and propose new theoretical results and new algorithms for performing counterfactual inference. Building on an idea recently proposed by Johansson et al., our results and methods rely on learning so-called balanced representations: representations that are similar between the factual and counterfactual distributions. We give a novel, simple and intuitive bound, showing that the expected counterfactual error of a representation is bounded by a sum of the factual error of that representation and the distance between the factual and counterfactual distributions induced by the representation. We use Integral Probability Metrics to measure distances between distributions, and focus on two special cases: the Wasserstein distance and the Maximum Mean Discrepancy (MMD) distance. Our bound leads directly to new algorithms, which are simpler and easier to employ compared to those suggested in Johansson et al.. Experiments on real and simulated data show the new algorithms match or outperform state-of-the-art methods.

研究の動機と目的

• 医療や政策応用など、因果推論における正確な反事後推論の課題に対処すること。
• 反事後誤差を最小化する理論的根拠があり実用的な表現ベースの因果推論手法を開発すること。
• 反事後誤差を事実誤差と分布差違に直接結びつける、新しい直感的な境界を提供すること。
• Johanssonらの研究における手法よりも単純で実装しやすいアルゴリズムを設計すること。

提案手法

• 期待される反事後誤差が、事実誤差と表現下での事実分布と反事後分布の距離の和によって上限づけられる新しい理論的境界を導入する。
• 分布距離を測定するために積分確率度量（IPM）を用い、特にワーサーテインと最大平均差（MMD）に焦点を当てる。
• 事実分布と反事後分布をバランスさせる表現を用いて境界を定式化し、誤差と分布差違の両方を最小化する。
• 反事後誤差の上界を直接最小化する新しい最適化目的関数を導出する。
• 境界を直接最適化することで、従来の手法よりも単純で効率的なアルゴリズムを設計する。
• 性能と頑健性を評価するために、実データおよびシミュレートデータにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 表現学習と分布距離を用いて、反事後誤差を理論的に上限づける方法は何か？
• RQ2 反事後誤差の新しい理論的境界から、より単純で効果的なアルゴリズムを導出できるか？
• RQ3 反事後推論における分布差違を測定する際、ワーサーテイン距離とMMD距離はどのように比較されるか？
• RQ4 提案されたアルゴリズムは、実世界およびシミュレート環境において、最先端の手法をどの程度上回るか？

主な発見

• 提案された境界により、反事後誤差が表現の事実誤差と、事実分布と反事後分布のIPM距離によって制御されることを示した。
• この境界は、Johanssonらの手法よりも単純で実用的な最適化目的関数を直接導くことができる。
• 実験により、新しいアルゴリズムが実データおよびシミュレートデータの両方で、最先端の性能を達成または上回ることが確認された。
• IPMとしてのMMDとワーサーテイン距離の使用により、反事後設定における分布差違の効果的で安定した推定が可能になった。