[논문 리뷰] Machine-Learning Tests for Effects on Multiple Outcomes

Jens Ludwig, Sendhil Mullainathan외 1명|arXiv (Cornell University)|2017. 07. 05.

Advanced Causal Inference Techniques참고 문헌 21인용 수 7

한 줄 요약

이 논문은 랜덤화 실험(RCT)에서 다중 결과에 걸쳐 치료 효과를 탐지하기 위해 상용 알고리즘을 재사용하는 기계학습 기반의 통계적 검정을 제안한다. 이 방법은 치료 배정을 결과에서 예측하는 반대 회귀 프레임워크를 사용하며, 표본 분할과 순열 검정을 통해 다중 검정을 제어하여 타당한 p-값을 제공하고, 치료 효과가 결과 분산에 따라 다를 경우 기존의 다변량 검정보다 높은 검정력(power)을 확보한다.

ABSTRACT

In this paper we present tools for applied researchers that re-purpose off-the-shelf methods from the computer-science field of machine learning to create a "discovery engine" for data from randomized controlled trials (RCTs). The applied problem we seek to solve is that economists invest vast resources into carrying out RCTs, including the collection of a rich set of candidate outcome measures. But given concerns about inference in the presence of multiple testing, economists usually wind up exploring just a small subset of the hypotheses that the available data could be used to test. This prevents us from extracting as much information as possible from each RCT, which in turn impairs our ability to develop new theories or strengthen the design of policy interventions. Our proposed solution combines the basic intuition of reverse regression, where the dependent variable of interest now becomes treatment assignment itself, with methods from machine learning that use the data themselves to flexibly identify whether there is any function of the outcomes that predicts (or has signal about) treatment group status. This leads to correctly-sized tests with appropriate $p$-values, which also have the important virtue of being easy to implement in practice. One open challenge that remains with our work is how to meaningfully interpret the signal that these methods find.

연구 동기 및 목표

• 다중 검정에 대한 우려로 인해 RCT에서 풍부한 결과 데이터가 충분히 활용되지 않는 문제를 해결하기 위해.
• 다중 결과에 동시에 치료 효과를 검정하기 위해 실용적이고 추론이 타당한 기계학습 기반의 방법을 개발하기 위해.
• 사전에 정의된 가설을 초월해 치료 효과를 탐지하는 '발견 엔진'을 만들기 위해, 특히 결과 분포 간에 효과가 이질적일 경우에 유용하게 활용되도록 하기 위해.
• 치료 효과가 그룹 간 분산에서 다를 경우 기존의 표준 다변량 검정(예: SUR)보다 높은 검정력을 확보하기 위해.
• 클러스터링, 분层, 누락 데이터 등 복잡한 설계 조건에서도 유효성을 유지하는 방법을 제공하기 위해.

제안 방법

• 기존의 가설 검정을 재구성하여 치료 배정을 결과 변수로 간주하고, 모든 후보 결과 변수를 기계학습 모델의 예측 변수로 삼는다.
• 표본 분할을 사용하여 데이터의 절반에서 예측 모델(예: 선형 회귀 또는 랜덤 포레스트)을 훈련하여 결과에서 치료 상태를 예측한다.
• 순열 검정을 적용: 치료 배정을 무작위로 재배치하고 예측 성능을 재계산하여 예측 정확도의 귀무분포를 생성한다.
• 관측된 예측 성능를 초월하는 순열 테스트 통계량의 비율을 p-값으로 계산한다.
• 교차검증을 통해 예측 성능과 내구성을 최적화하기 위해 앙상블 모델(예: 선형 회귀와 랜덤 포레스트의 볼록 조합)을 사용한다.
• 순열 기반 p-값을 사용하여 다중 검정을 제어하며, 이는 테스트한 결과 수를 내재적으로 고려한다.

실험 결과

연구 질문

• RQ1 기계학습 방법은 RCT에서 다중 결과에 걸쳐 치료 효과를 탐지하면서도 타당한 제1종 오류율(Type I error rate)을 유지할 수 있는가?
• RQ2 치료 효과가 그룹 간 분산에서 다를 경우, 제안된 예측 기반 검정은 전통적인 다변량 검정(예: 상호의존 회귀 모델, SUR)보다 검정력(power)이 어떻게 다른가?
• RQ3 기존 분석이 사전 정의된 편향이나 평균 결과에만 집중함으로써 놓친 치료 효과를 이 방법이 탐지할 수 있는가?
• RQ4 치료 효과의 크기(moves)와 그룹 간 분산 변화(stretch) 수준이 다를 경우, 이 방법의 성능은 어떻게 되는가?
• RQ5 이 방법은 클러스터 랜덤화, 분층 랜덤화, 또는 누락 데이터 등 복잡한 RCT 설계에 어떻게 적응할 수 있는가?

주요 결과

• 귀무가설(치료 효과 없음) 하에서 예측 검정은 정확한 크기를 유지하며, 시뮬레이션 전반에서 유의수준 5%에 가까운 기각 빈도를 보였다.
• 치료 효과가 크기가 증가할수록(moves), 예측 검정과 SUR 모두 검정력이 증가하지만, 분산 이동(stretch)이 존재할 경우 예측 검정이 더 높은 검정력을 유지한다.
• 치료군과 대조군 간에 분산의 차이가 존재할 경우(stretch), 예측 검정의 검정력은 증가하지만, SUR 검정은 평균 이동에만 의존하므로 검정력이 감소한다.
• move가 0.5이고 stretch가 0.5일 경우, 예측 검정의 기각률은 68.1%이며, SUR의 왈드 검정(Wald test)은 81.8%를 기록하여 분산 이질성 하에서 예측 검정이 더 높은 검정력을 확보함을 시사한다.
• 귀무가설 하에서 p-값의 경험적 누적분포함수는 근사적으로 균일분포를 이룬다. 이는 순열 기반 추론의 정확성과 타당성을 확인한다.
• 이 방법은 평균 이동 외에 분포 꼬리나 분산에 집중된 효과를 탐지하는 데 있어 기존의 표준 다변량 검정보다 뛰어난 성능을 보이며, 특히 분산 이질성 하에서 유의미한 효과 탐지에 유리하다.