[論文レビュー] Generalization Bounds and Representation Learning for Estimation of Potential Outcomes and Causal Effects

Fredrik Johansson, Uri Shalit+2 more|arXiv (Cornell University)|Jan 21, 2020

Machine Learning in Healthcare参考文献 78被引用数 32

ひとこと要約

本論文は、観測データから潜在結果と CATE を推定する際の一般化境界を、分布距離、表現学習、サンプル再加重を用いて導出し、理論的保証と実験を提供する。

ABSTRACT

Practitioners in diverse fields such as healthcare, economics and education are eager to apply machine learning to improve decision making. The cost and impracticality of performing experiments and a recent monumental increase in electronic record keeping has brought attention to the problem of evaluating decisions based on non-experimental observational data. This is the setting of this work. In particular, we study estimation of individual-level causal effects, such as a single patient's response to alternative medication, from recorded contexts, decisions and outcomes. We give generalization bounds on the error in estimated effects based on distance measures between groups receiving different treatments, allowing for sample re-weighting. We provide conditions under which our bound is tight and show how it relates to results for unsupervised domain adaptation. Led by our theoretical results, we devise representation learning algorithms that minimize our bound, by regularizing the representation's induced treatment group distance, and encourage sharing of information between treatment groups. We extend these algorithms to simultaneously learn a weighted representation to further reduce treatment group distances. Finally, an experimental evaluation on real and synthetic data shows the value of our proposed representation architecture and regularization scheme.

研究の動機と目的

• 観測データ下でリスク最小化の視点から個体レベルの潜在結果と因果効果の推定を研究する。
• 処置群と対照群間の分布距離に基づく一般化境界を提供する。
• この界を最小化し、跨グループ情報共有を改善するための表現学習と重み付けアルゴリズムを開発する。
• 実データと合成データの有限サンプル保証と実践的な性能を示す。

提案手法

• Neyman-Rubin フレームワークの下で潜在結果と CATE を定義し、仮定（ignorability、overlap、SUTVA）を特定する。
• 処置群間の分布距離を用いて潜在結果と CATE の限界リスクに関するリスクベースの境界を導出する。
• 処置群と対照群の分布を整合させるためのサンプル再加重を導入し、これを propensity-score のような重み付けに関連付ける。
• 表現空間の処理距離に対する正則化項を持つ潜在結果の加重经验リスクを最適化する学習アルゴリズムを提案する。
• 学習された（可逆な）表現を含む境界を拡張し、処置群間距離を減らしつつ処置間の情報共有を可能にする。
• 提案推定量の一貫性と有限サンプル保証の条件を提供する。

実験結果

リサーチクエスチョン

• RQ1 観測データから潜在結果と CATE を推定する際の一般化誤差をどのように境界付けできるか？
• RQ2 処置群間の分布距離が因果推定量のバイアスと分散にどう影響するか、再加重はどう役立つか？
• RQ3 表現学習は処置群間距離を小さくし、識別可能性の仮定を保持しつつ有限サンプルの性能を改善できるか？
• RQ4 部分的に重複する設定で、学習された表現が因果効果の一貫した推定量をもたらす条件は何か？

主な発見

• 一般化境界は潜在結果予測子の周辺リスクと処置群と対照群の分布距離を結びつける。
• サンプル再加重は交絡によるバイアスを緩和し、分散を制御することができ、重みの均一性と密度比の大きさのトレードオフが生じる。
• 可逆的な表現を学習することでグループ間距離を減らし、処置群が重なる場合により良い一般化を可能にする。
• 表現学習と再重み付けリスクを組み合わせたアルゴリズムは、合成データと実データの有限サンプル性能を向上させる。
• 部分的な重複下でも境界は有用であり、適切な仮定の下で一貫性を確立できる。