[논문 리뷰] Achieving Reliable Causal Inference with Data-Mined Variables: A Random Forest Approach to the Measurement Error Problem

Mochen Yang, Edward McFowland외 2명|arXiv (Cornell University)|2020. 12. 19.

Bayesian Modeling and Causal Inference참고 문헌 61인용 수 4

한 줄 요약

이 논문은 기계학습으로 생성된 변수에서 발생하는 측정 오차로 인한 인과적 추론의 편향을 보정하기 위한 랜덤 포레스트 기반의 새로운 방법인 ForestIV를 제안한다. 랜덤 포레스트의 개별 트리들 간에 약한 상관성을 가지는 예측 오차를 활용하여, 선택된 트리를 공 ferrament로 삼아 일관되고 신뢰할 수 있는 인과적 추정을 도출한다. 시뮬레이션 결과에서 기존의 편향 보정 방법들보다 뛰어난 성능을 보였다.

ABSTRACT

Combining machine learning with econometric analysis is becoming increasingly prevalent in both research and practice. A common empirical strategy involves the application of predictive modeling techniques to 'mine' variables of interest from available data, followed by the inclusion of those variables into an econometric framework, with the objective of estimating causal effects. Recent work highlights that, because the predictions from machine learning models are inevitably imperfect, econometric analyses based on the predicted variables are likely to suffer from bias due to measurement error. We propose a novel approach to mitigate these biases, leveraging the ensemble learning technique known as the random forest. We propose employing random forest not just for prediction, but also for generating instrumental variables to address the measurement error embedded in the prediction. The random forest algorithm performs best when comprised of a set of trees that are individually accurate in their predictions, yet which also make 'different' mistakes, i.e., have weakly correlated prediction errors. A key observation is that these properties are closely related to the relevance and exclusion requirements of valid instrumental variables. We design a data-driven procedure to select tuples of individual trees from a random forest, in which one tree serves as the endogenous covariate and the other trees serve as its instruments. Simulation experiments demonstrate the efficacy of the proposed approach in mitigating estimation biases and its superior performance over three alternative methods for bias correction.

연구 동기 및 목표

• 기계학습 예측 변수를 경제계량 모델의 공변량으로 사용할 때 발생하는 측정 오차 편향 문제의 증가를 다루기 위해.
• 랜덤 포레스트의 내재된 구조를 활용하여 유효한 공 ferrament를 생성하는 일반적인 목적의 데이터 기반 방법을 개발하기 위해.
• 기존의 편향 보정 기법의 한계를 극복하기 위해 랜덤 포레스트 앙상블의 개별 트리들 간에 약한 상관성을 가지는 예측 오차를 활용하기 위해.
• 기계학습 예측이 완벽하지 않은 상황에서도 일관된 인과적 추정을 달성할 수 있도록 실용적이고 구현 가능한 프레임워크를 제공하기 위해.
• 연속형 및 이진형 데이터 마이닝 변수에 대해 광범위한 시뮬레이션을 통해 방법의 타당성과 기존 접근법에 비해 뛰어난 성능을 입증하기 위해.

제안 방법

• 진짜 결과값이 있는 레이블된 데이터로 훈련된 랜덤 포레스트 모델을 사용하여, 각각 다른 예측 오차를 가지는 다수의 개별 트리 예측을 생성한다.
• 한 트리의 예측이 종속 공변량으로 사용되고, 다른 트리의 예측이 공 ferrament로 사용되며, 이는 예측 오차 간의 약한 상관성을 기반으로 한다.
• 유효한 공 ferrament를 위한 관련성과 배제 조건을 만족하는 최적의 트리 조합을 식별하기 위해 이중 단계의 라소 기반 선택 절차를 적용한다.
• 후보 공 ferrament의 강도와 타당성을 평가하기 위해 공분산 기반 기준을 설정하여, 공 ferrament 오차와 종속 예측 변수 오차 간의 낮은 상관성을 확보한다.
• 훈련 샘플 전역에서 예측 오차의 경험적 모멘트를 사용하여 공 ferrament 품질을 평가하는 데이터 기반 선택 알고리즘을 구현한다.
• 추정 후 진단으로는 Hotelling의 T² 검정을 통해 ForestIV 추정치와 표준 레이블된 데이터 추정치를 비교하고, 수렴 플롯을 통해 레이블이 없는 데이터가 증가함에 따라 추정의 안정성을 평가한다.

Figure 1: Distributions of Biased, Unbiased, and ForestIV Estimation on $lnCnt$ across 100 Simulation Runs

실험 결과

연구 질문

• RQ1 랜덤 포레스트 트리들을 사용하여 기계학습 예측 공변량의 측정 오차를 보정하는 유효한 공 ferrament를 생성할 수 있는가?
• RQ2 ForestIV의 성능은 세 가지 대안적 편향 보정 방법과 비교해 볼 때 계수 편향을 얼마나 줄이는가?
• RQ3 유한 표본에서 ForestIV 추정치의 수렴성과 타당성을 나타내는 주요 실증 지표는 무엇인가?
• RQ4 데이터 마이닝 변수의 예측 오차 수준이 다양할 경우 ForestIV는 일관성과 효율성을 유지하는가?
• RQ5 기계학습 예측 변수를 사용하는 것이 아니라 레이블된 데이터만을 기반으로 인과적 추론을 수행하는 것에 비해 ForestIV가 가장 효과적인 상황은 어떤가?

주요 결과

• ForestIV는 연속형 및 이진형 데이터 마이닝 공변량에서 추정 편향을 크게 줄였으며, 시뮬레이션 실험에서 세 가지 기준 편향 보정 방법보다 뛰어난 성능을 보였다.
• 랜덤 포레스트 트리에 내재된 약한 상관성을 가지는 예측 오차를 활용하여, 핵심 공 ferrament 조건을 만족함으로써 일관된 인과적 추정치를 도출하였다.
• 시뮬레이션 결과, 예측 정확도가 중간 수준일 경우조차도 표준 회귀 분석보다 ForestIV의 계수 추정치가 진짜 인과 효과에 더 가까운 것으로 나타났다.
• Hotelling의 T² 검정과 수렴 플롯과 같은 실증 진단 지표는 표본 수가 유한할 경우 공 ferrament의 타당성과 추정의 안정성을 신뢰할 수 있는 신호를 제공한다.
• 레이블된 데이터의 크기가 제한되어 있어도 방법이 효과를 유지하므로, 진짜 레이블이 희소한 실생활 응용에 적합하다.
• 일반적인 설계 덕분에 구조적, 텍스트, 이미지 기반 데이터를 포함한 다양한 데이터 유형에서 뛰어난 내성적 안정성을 보였다.

Figure 2: Distribution of Biased, Unbiased, and ForestIV Estimation on $Deposit$ across 100 Simulation Runs