[論文レビュー] Combining Observational and Experimental Data to Improve Efficiency Using Imperfect Instruments

George Gui|arXiv (Cornell University)|Oct 10, 2020

Advanced Causal Inference Techniques参考文献 10被引用数 5

ひとこと要約

本論文は、処置割り当てに関連するが除外制約を破る可能性がある不完全な道具変数（事前共変量）を用いて、実験的データと観察的データを統合する手法を提案する。バイアス補正を施した観察的推定値と実験的推定値をGMMまたは重み付け法で統合することで、分散を最大50%まで低減でき、実験的サンプルサイズを半分にしても同等の精度が達成可能である。

ABSTRACT

Randomized controlled trials generate experimental variation that can credibly identify causal effects, but often suffer from limited scale, while observational datasets are large, but often violate desired identification assumptions. To improve estimation efficiency, I propose a method that leverages imperfect instruments - pretreatment covariates that satisfy the relevance condition but may violate the exclusion restriction. I show that these imperfect instruments can be used to derive moment restrictions that, in combination with the experimental data, improve estimation efficiency. I outline estimators for implementing this strategy, and show that my methods can reduce variance by up to 50%; therefore, only half of the experimental sample is required to attain the same statistical precision. I apply my method to a search listing dataset from Expedia that studies the causal effect of search rankings on clicks, and show that the method can substantially improve the precision.

研究の動機と目的

• ランダム化試験のサンプルサイズが小さいために精度に欠けるデジタルマーケティング分野における限られた実験的スケールの課題に対処する。
• 事前共変量が処置および結果の両方に相関するため、内生性によって引き起こされる観察的データのバイアスを克服する。
• 大規模な観察的データセットと不完全な道具変数を活用し、顕著なバイアスを導入せずに推定効率を向上させる手法を開発する。
• バイアス補正済みの観察的推定値が実験的データのみの推定値と無相関であることを示し、GMMまたは重み付け法による効率的統合を可能にする。
• アルゴリズムシステム（例：検索順位、価格設定）を用いる企業が、現実世界のデータと小規模な実験を組み合わせてより正確な因果推論を実現するための実用的フレームワークを提供する。

提案手法

• 実験的および観察的データセットの両方で、処置に関連するが除外制約を破る可能性がある不完全な道具変数（事前共変量Z）を用いる。
• 実験的データをベンチマークとして用いて、観察的サンプルにおける内生性を補正するバイアス補正済みの観察的モデルを推定する。
• 補正済みの観察的推定値に基づくモーメント制約を導出し、それを実験的データとGMM（一般化モーメント法）を用いて統合する。
• 実験的データのみの推定値とバイアス補正済みの観察的推定値を、重み付け法またはGMMで統合し、それらの無相関性を活用して分散を低減する。
• 大規模な観察的サンプルと強い予測力を持つ事前共変量が成り立つ条件下で、分散低減が最大50%に達することを形式的に証明する。
• 2つのデータセット（ランダム処置割り当ての実験的データ、アルゴリズムによる処置割り当ての観察的データ）を用いて手法を実装する。両方のデータセットに結果、処置、共変量が含まれる。

実験結果

リサーチクエスチョン

• RQ1 処置に関連するが除外制約を破る可能性がある不完全な道具変数（事前共変量）を、実験的データと組み合わせることで推定効率を向上させることができるか？
• RQ2 実験的データを用いて、不適切な道具変数によって引き起こされる観察的推定値のバイアスをどのように補正できるか？
• RQ3 実験的データのみを用いる場合と比較して、実験的および観察的推定値を統合することで、分散をどの程度低減できるか？
• RQ4 どのような条件下（例：サンプルサイズ、道具変数の強さ）で、これらのデータソースを統合することで推定効率が最大限に向上するか？
• RQ5 本手法は、検索順位がユーザーのクリックに与える影響を推定するなど、実世界のデジタルマーケティング応用において、どのように機能するか？

主な発見

• 観察的データが大規模で、事前共変量が処置割り当てを強く予測できる場合、本手法により推定分散を最大50%まで低減できる。
• シミュレーションでは、統合されたGMM推定値が45.7%の効率的向上を達成し、平均二乗誤差（MSE）をベンチマークの実験的データのみの推定値の54.3%まで低減した。
• シミュレーションにおいて、統合されたGMM手法は、金利が融資需要に与える負の影響を検出する統計的パワーを向上させ、有意水準95%で検出率を13.99%から21.18%に引き上げた。
• バイアス補正済みの観察的推定値は、実験的データのみの推定値と無相関であるため、バイアスを導入せずに効率的に統合可能である。
• Expediaの検索順位データへの応用において、本手法はクリックに与える順位の因果効果を推定する際の精度を顕著に向上させた。
• 事前共変量（例：ホテル評価、需要予測）が自然な不完全な道具変数として機能するアルゴリズム駆動環境では、本手法が特に有効である。