[論文レビュー] Machine-Learning Tests for Effects on Multiple Outcomes

Jens Ludwig, Sendhil Mullainathan+1 more|arXiv (Cornell University)|Jul 5, 2017

Advanced Causal Inference Techniques参考文献 21被引用数 7

ひとこと要約

本稿では、ランダム化比較試験（RCT）における複数のアウトカムにわたる治療効果を検出するために、市販のアルゴリズムを再利用する機械学習ベースの統計的仮説検定を提案する。この手法は逆回帰フレームワークを採用し、治療割り当てをアウトカムから予測することで、サンプル分割とパーミュテーション検定を用いて多重検定を制御し、有意なp値を提示する。治療効果がアウトカムの分散ごとに異なる場合、従来の多変量検定よりも高い検出力を持つ。

ABSTRACT

In this paper we present tools for applied researchers that re-purpose off-the-shelf methods from the computer-science field of machine learning to create a "discovery engine" for data from randomized controlled trials (RCTs). The applied problem we seek to solve is that economists invest vast resources into carrying out RCTs, including the collection of a rich set of candidate outcome measures. But given concerns about inference in the presence of multiple testing, economists usually wind up exploring just a small subset of the hypotheses that the available data could be used to test. This prevents us from extracting as much information as possible from each RCT, which in turn impairs our ability to develop new theories or strengthen the design of policy interventions. Our proposed solution combines the basic intuition of reverse regression, where the dependent variable of interest now becomes treatment assignment itself, with methods from machine learning that use the data themselves to flexibly identify whether there is any function of the outcomes that predicts (or has signal about) treatment group status. This leads to correctly-sized tests with appropriate $p$-values, which also have the important virtue of being easy to implement in practice. One open challenge that remains with our work is how to meaningfully interpret the signal that these methods find.

研究の動機と目的

• 多重検定の懸念により、豊富なアウトカムデータがRCTで十分に活用されていないという問題に対処すること。
• 複数のアウトカムに対して同時に治療効果を検出できる、実用的で推論が有効な手法を開発すること。
• 事前に指定された仮説を超えた治療効果を同定する「発見エンジン」としての機能を提供すること、特に治療効果がアウトカム分布全体で不均一な場合に有効であること。
• 治療効果が群間の分散において異なる場合、標準的な多変量検定（例：SUR）と比較して、より高い統計的検出力を達成すること。
• クラスタリング、層別化、欠損データを含む複雑なデザインに対しても有効な手法を提供すること。

提案手法

• 仮説検定を再定式化し、治療割り当てを従属変数とし、すべての候補となるアウトカムを予測変数として機械学習モデルに組み込む。
• サンプル分割を用い、データの半分を用いて予測モデル（例：線形回帰またはランダムフォレスト）を訓練し、アウトカムから治療状態を予測する。
• パーミュテーション検定を適用：治療割り当てをランダムにシャッフルし、再び予測精度を再計算することで、予測精度の帰無分布を生成する。
• p値を、パーミュテーションされた検定統計量のうち、観測された予測精度を上回る割合として計算する。
• 交差検証を用いて、線形回帰とランダムフォレストの凸結合などのアンサンブルモデルを最適化し、予測精度と頑健性を向上させる。
• パーミュテーションに基づくp値を用いることで、テストされたアウトカムの数を内因的に考慮し、多重検定を制御する。

実験結果

リサーチクエスチョン

• RQ1 機械学習手法は、タイプIエラー率を適切に維持しつつ、RCTにおける複数のアウトカムにわたる治療効果を検出できるか？
• RQ2 治療効果が群間の分散において異なる場合、提案手法の予測ベース検定は、従来の多変量検定（例：疑似相関回帰（SUR））と比較して、検出力に優れているか？
• RQ3 事前に指定されたバイアスや平均アウトカムのみに注目する分析の限界により、従来の手法が見逃していた治療効果を、本手法は検出できるか？
• RQ4 治療群と対照群における治療効果の大きさ（move）と分散のずれ（stretch）の異なる水準下で、本手法の性能はいかがなものか？
• RQ5 クラスターランダム化、層別ランダム化、欠損データを含む複雑なRCTデザインに対しても、本手法は適応可能か？

主な発見

• 帰無仮説（治療効果なし）下では、予測検定は正しいサイズを維持し、シミュレーション全体で有意水準5％に近い棄却頻度を示す。
• 治療効果の大きさ（move）が増加すると、予測検定とSURの両方が検出力を向上させるが、分散のずれ（stretch）が存在する場合には、予測検定がより高い検出力を維持する。
• 治療群と対照群の間で分散が異なる（stretch）状況下では、予測検定の検出力は上昇するが、SUR検定の検出力は低下する。これは、SURが平均のずれのみに依存しているためである。
• moveが0.5、stretchが0.5の場合、予測検定の棄却率は68.1％であるのに対し、SURのWald検定では81.8％であり、分散の不均等性下でも予測検定がより高い検出力を示す。
• 帰無仮説下でのp値の経験的累積分布は、ほぼ一様であることが確認され、パーミュテーションに基づく推論の正当性と正しいサイズが裏付けられる。
• 本手法は、平均のずれだけでは捉えきれない効果を検出する点で、標準的な多変量検定を上回る。特に、効果が分布の尾部や分散に集中している場合に顕著である。