[論文レビュー] Combining observational and experimental data to find heterogeneous treatment effects

Alexander Peysakhovich, Akos Lada|arXiv (Cornell University)|Nov 8, 2016

Advanced Causal Inference Techniques参考文献 3被引用数 17

ひとこと要約

この論文では、観測データと実験データを組み合わせて、より高い効率で異質的処置効果を推定する手法を提案する。観測データを用いて相対的処置効果の順位付けを予測し、その予測を小さな実験データセットで検証することで、統計的パワーを維持したまま必要な実験標本サイズを削減する。このアプローチは、実世界のFacebookページ推薦A/Bテストにおいて実証された。

ABSTRACT

Every design choice will have different effects on different units. However traditional A/B tests are often underpowered to identify these heterogeneous effects. This is especially true when the set of unit-level attributes is high-dimensional and our priors are weak about which particular covariates are important. However, there are often observational data sets available that are orders of magnitude larger. We propose a method to combine these two data sources to estimate heterogeneous treatment effects. First, we use observational time series data to estimate a mapping from covariates to unit-level effects. These estimates are likely biased but under some conditions the bias preserves unit-level relative rank orderings. If these conditions hold, we only need sufficient experimental data to identify a monotonic, one-dimensional transformation from observationally predicted treatment effects to real treatment effects. This reduces power demands greatly and makes the detection of heterogeneous effects much easier. As an application, we show how our method can be used to improve Facebook page recommendations.

研究の動機と目的

• 高次元の共変量と弱い事前知識を伴う状況で、実験データがパワー不足である場合に、異質的処置効果を特定する課題に対処すること。
• 大規模な観測データを、実験的処置効果推定の予測的事前分布として活用すること。
• 観測推定値を用いて単位を期待処置効果の順位付けで並べることで、異質的効果検出に必要な実験標本サイズを削減すること。
• 妥当な仮定の下で、観測予測が真の処置効果の相対的順位を保持していることを検証すること。
• 実世界の製品パーソナライゼーション環境（Facebookページ推薦）におけるこの手法の実用的有用性を示すこと。

提案手法

• 時系列の観測データを用いて、単位レベルの共変量から予測処置効果へのマッピングを推定し、$ \mathbb{E}(\hat{\beta} \mid c) $ と表記する。
• 観測推定値が、特定のデータ生成過程の仮定の下で、真の処置効果の相対的順位を保持すると仮定する。
• より小さな実験データセットを用いて、観測予測から実際の処置効果への単調かつ1次元の変換を同定する。
• この変換を適用して、異質的効果検出に使えるように観測予測を補正する。
• 標準的な異質的処置効果推定手順（例：因果フォレスト、回帰モデル）において、観測的に予測された処置効果を特徴量として統合する。
• 実験結果を処置ダミー、予測効果、およびその交互作用項で回帰することで、手法を検証し、交互作用項が有意であることを確認（p < .01）。

実験結果

リサーチクエスチョン

• RQ1 大規模なサンプルサイズを持つ観測データは、小さな実験的調査において異質的処置効果の検出を改善できるか？
• RQ2 観測推定値が、真の単位レベル処置効果の相対的順位を保持するのはどのような条件下か？
• RQ3 観測予測と実験データを組み合わせることで、異質的効果を検出するための実験標本サイズを削減できるか？
• RQ4 実世界の製品環境において、観測予測と実際の実験的処置効果の相関はどの程度高いか？
• RQ5 異質的処置効果モデルに観測予測を特徴量として追加した場合、モデルの複雑さにどのような影響があるか？

主な発見

• 観測予測処置効果と実際の実験的処置効果の間に統計的に有意な単調な関係が存在し、層別化および回帰分析によって確認された（p < .01）。
• 処置ダミーと予測処置効果の交互作用項が顕著に有意であり、高い予測効果を持つ単位が実際に大きな処置効果を示していることが示された。
• この手法により、大規模な観測データセットを活用することで、異質的効果検出に必要なパワー要件が低減された。
• 共変量空間がすでに高次元である状況では、観測予測を特徴量として追加してもモデルの複雑さにほとんど影響がない。
• 実世界のFacebookページ推薦A/Bテストにおいて、観測データが有用な事前分布を提供し、異質的効果推定の精度を向上させた。
• バイアスが観測推定値に存在しても、そのバイアスが単位レベルの処置効果順位の順序を保持している限り、このアプローチは頑健である。