[論文レビュー] Achieving Reliable Causal Inference with Data-Mined Variables: A Random Forest Approach to the Measurement Error Problem

Mochen Yang, Edward McFowland+2 more|arXiv (Cornell University)|Dec 19, 2020

Bayesian Modeling and Causal Inference参考文献 61被引用数 4

ひとこと要約

本稿では、機械学習で生成された変数における測定誤差によって引き起こされる因果推定のバイアスを是正する、ランダムフォレストに基づく新規手法 ForestIV を提案する。ランダムフォレスト内の個々の木における予測誤差の弱い相関性を活用することで、選択された木をインストルメンタル変数として用い、一貫性があり信頼性の高い因果推定を実現する。シミュレーションにおいて、従来のバイアス是正手法を著しく上回る性能を示した。

ABSTRACT

Combining machine learning with econometric analysis is becoming increasingly prevalent in both research and practice. A common empirical strategy involves the application of predictive modeling techniques to 'mine' variables of interest from available data, followed by the inclusion of those variables into an econometric framework, with the objective of estimating causal effects. Recent work highlights that, because the predictions from machine learning models are inevitably imperfect, econometric analyses based on the predicted variables are likely to suffer from bias due to measurement error. We propose a novel approach to mitigate these biases, leveraging the ensemble learning technique known as the random forest. We propose employing random forest not just for prediction, but also for generating instrumental variables to address the measurement error embedded in the prediction. The random forest algorithm performs best when comprised of a set of trees that are individually accurate in their predictions, yet which also make 'different' mistakes, i.e., have weakly correlated prediction errors. A key observation is that these properties are closely related to the relevance and exclusion requirements of valid instrumental variables. We design a data-driven procedure to select tuples of individual trees from a random forest, in which one tree serves as the endogenous covariate and the other trees serve as its instruments. Simulation experiments demonstrate the efficacy of the proposed approach in mitigating estimation biases and its superior performance over three alternative methods for bias correction.

研究の動機と目的

• 計量経済モデルにおいて機械学習で予測された変数を共変数として用いる際の測定誤差バイアスの増大という問題に対処すること。
• ランダムフォレストが持つ固有の構造を活用して、有効なインストルメンタル変数を生成する汎用的でデータ駆動型の手法を開発すること。
• ランダムフォレストアンサンブル内の個々の木の予測誤差が弱く相関しているという特徴を活用することで、従来のバイアス是正技術の限界を克服すること。
• 機械学習の予測が不完全であっても、一貫性のある因果推定を達成できる実用的で実装可能なフレームワークを研究者に提供すること。
• 連続的および二値のデータマイニング変数を対象とした包括的なシミュレーションを通じて、本手法の妥当性と従来手法に対する優位性を検証すること。

提案手法

• 真の結果がラベル付けされたデータで訓練されたランダムフォレストモデルから、各木の予測結果を複数生成し、それぞれに異なる予測誤差を持つ。
• 1つの木の予測結果を内生的共変数として、別の木の予測結果をインストルメンタル変数として使用する木のペアを特定し、その際、予測誤差の弱い相関性を基準とする。
• 有効なインストルメンタル変数を満たすために、関連性と除外制約を満たす最適な木の集合を特定する二段階のラッソベース選択手順を適用する。
• 候補となるインストルメンタル変数の強さと妥当性を評価するための共分散基準を定式化し、インストルメンタル変数の誤差と内生的予測子の誤差との間の低相関を保証する。
• 訓練サンプル全体における予測誤差の実現モーメントを用いて、インストルメンタル変数の品質を評価するデータ駆動型選択アルゴリズムを実装する。
• 推定後の診断には、ForestIV推定値と標準的なラベル付きデータ推定値との比較に用いるホットテリングの T² 検定と、無作為化データの増加に伴う安定性を評価する収束プロットを含む。

Figure 1: Distributions of Biased, Unbiased, and ForestIV Estimation on $lnCnt$ across 100 Simulation Runs

実験結果

リサーチクエスチョン

• RQ1 ランダムフォレストの木を用いて、機械学習で予測された共変数における測定誤差を是正する有効なインストルメンタル変数を生成できるか？
• RQ2 ForestIV の性能は、3つの代替的バイアス是正手法と比較して、回帰係数のバイアス低減においてどのように異なるか？
• RQ3 有限標本における ForestIV 推定値の収束性と妥当性を示す主な経験的指標は何か？
• RQ4 データマイニング変数における予測誤差のレベルが変化する条件下でも、ForestIV は一貫性と効率性を維持できるか？
• RQ5 因果推定において、ラベル付きデータに依存する場合と比較して、ForestIV が特に有効となる状況はどのようなものか？

主な発見

• ForestIV は、連続的および二値のデータマイニング共変数において、推定バイアスを顕著に低減し、シミュレーション実験において3つのベンチマーク手法を上回る性能を示した。
• ランダムフォレストの木に内在する弱い相関性を持つ予測誤差を活用することで、因果推定の一貫性が確保され、インストルメンタル変数の主要な条件を満たした。
• シミュレーション結果から、予測精度が中程度であっても、標準的な予測変数を用いた回帰分析と比較して、ForestIV は真の因果効果に近い係数推定値を生成することが明らかになった。
• ホットテリングの T² 検定や収束プロットといった経験的診断は、有限標本におけるインストルメンタル変数の妥当性と推定の安定性を信頼できるシグナルとして提供した。
• ラベル付きデータのサイズが限られている場合でも、本手法は有効に機能し、真のラベルが限られる現実世界の応用に適していることが示された。
• 本手法は、構造化データ、テキスト、画像ベースのデータを含む多様なデータタイプにおいて、汎用的設計ゆえに高いロバスト性を示した。

Figure 2: Distribution of Biased, Unbiased, and ForestIV Estimation on $Deposit$ across 100 Simulation Runs