[論文レビュー] Learning Objectives for Treatment Effect Estimation

Xinkun Nie, Stefan Wager|arXiv (Cornell University)|Dec 13, 2017

Advanced Causal Inference Techniques参考文献 53被引用数 64

ひとこと要約

本稿では、まず周辺効果と処置割合を学習し、その後導出された目的関数を最適化することで、観察研究における異質的処置効果を推定する柔軟な2段階手法を提案する。正則化カーネル回帰において準オークター効率性を達成し、正則化回帰およびディープラーニングモデルを用いた実験的性能も優れている。

ABSTRACT

We develop a general class of two-step algorithms for heterogeneous treatment effect estimation in observational studies. We first estimate marginal effects and treatment propensities to form an objective function that isolates the heterogeneous treatment effects, and then optimize the learned objective. This approach has several advantages over existing methods. From a practical perspective, our method is very flexible and easy to use: In both steps, we can use any method of our choice, e.g., penalized regression, a deep net, or boosting; moreover, these methods can be fine-tuned by cross-validating on the learned objective. Meanwhile, in the case of penalized kernel regression, we show that our method has a quasi-oracle property, whereby even if our pilot estimates for marginal effects and treatment propensities are not particularly accurate, we achieve the same regret bounds as an oracle who has a-priori knowledge of these nuisance components. We implement variants of our method based on both penalized regression and convolutional neural networks, and find promising performance relative to existing baselines.

研究の動機と目的

• 観察データにおける異質的処置効果を推定する一般的で柔軟なフレームワークの開発。
• 周辺効果や処置割合などの不要な成分の推定と処置効果の推定を分離すること。
• 両ステップで任意の機械学習手法を用いることを可能とし、学習された目的関数に対する交差検証によるハイパーパrameterチューニングを可能とすること。
• パイLOT推定値にやや弱い条件下でも理論的保証、特に準オークター効率性を確立すること。
• 正則化回帰と畳み込みニューラルネットワークを用いた実装を通じて、実用的有効性を示すこと。

提案手法

• 本手法は2段階の手続きを用いる：まず、任意の選択された手法を用いて周辺効果と処置割合を推定する。
• これらの推定値を用いて、異質的処置効果を分離する損失関数を構築する。
• 2段階目では、同じまたは異なるモデルを用いて、この学習された目的関数を最適化し、柔軟なモデリングを可能にする。
• 両ステップのハイパーパrameterチューニングのため、学習された目的関数に対する交差検証をサポートする。
• 正則化カーネル回帰の場合、パイLOT推定値が不完全であっても、準オークターレジットバウンドを達成する。
• 実験的性能を評価するために、正則化回帰と畳み込みニューラルネットワークの両方を用いてフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 不要な成分の推定と処置効果学習を分離する2段階手法が、優れた実験的性能を達成できるか？
• RQ2 周辺効果と処置割合の初期推定値が不正確であっても、理論的効率性を維持できるか？
• RQ3 本手法が、深層ニューラルネットワークや正則化回帰などの多様なモデルを柔軟に統合できるか？
• RQ4 推定精度とロバストネスの観点から、既存のベースラインと比較してどのように差がつくか？
• RQ5 学習された目的関数に対する交差検証が、モデルチューニングの向上に効果的に応用できるか？

主な発見

• 正則化カーネル回帰の場合、パイLOT推定値が最適でない場合でも、準オークターのレジットバウンドを達成する。
• 正則化回帰と畳み込みニューラルネットワークを用いた実験的結果から、既存のベースラインと比較して優れた性能を示す。
• 両ステップで柔軟なモデル選択を可能とし、現代の機械学習技術との統合を可能にする。
• 学習された目的関数に対する交差検証により、本手法の異なる構成要素における効果的なハイパーパrameterチューニングが可能になる。
• 理論的ロバストネスを維持しながら、モデル選択と実装における実用的利点を提供する。