[논문 리뷰] The Optimal Dynamic Treatment Rule SuperLearner: Considerations, Performance, and Application

Lina Montoya, Mark van der Laan외 4명|arXiv (Cornell University)|2021. 01. 29.

Advanced Causal Inference Techniques참고 문헌 54인용 수 4

한 줄 요약

이 논문은 예상 결과를 최대화하는 개인 맞춤 치료 규칙을 추정하기 위해 융통성 있고 파라미터 기반 알고리즘을 조합하는 앙상블 기계학습 방법인 최적 동적 치료 규칙 슈퍼러너(Optimal Dynamic Treatment Rule SuperLearner, ODTR SuperLearner)를 제안한다. 시뮬레이션과 범죄 사법 분야의 임의 대조 시험(Randomized Controlled Trial, RCT)을 통한 실제 적용 사례를 통해, 특히 전체 알고리즘 라이브러리, 연속 메타러닝 기반 알고리즘, 결과 기반 위험 함수를 사용할 경우, 전통적인 파라미터 기반 모델보다 치료 효과 이질성을 더 잘 드러내는 것으로 나타났다.

ABSTRACT

The optimal dynamic treatment rule (ODTR) framework offers an approach for understanding which kinds of patients respond best to specific treatments -- in other words, treatment effect heterogeneity. Recently, there has been a proliferation of methods for estimating the ODTR. One such method is an extension of the SuperLearner algorithm -- an ensemble method to optimally combine candidate algorithms extensively used in prediction problems -- to ODTRs. Following the "causal roadmap," we causally and statistically define the ODTR and provide an introduction to estimating it using the ODTR SuperLearner. Additionally, we highlight practical choices when implementing the algorithm, including choice of candidate algorithms, metalearners to combine the candidates, and risk functions to select the best combination of algorithms. Using simulations, we illustrate how estimating the ODTR using this SuperLearner approach can uncover treatment effect heterogeneity more effectively than traditional approaches based on fitting a parametric regression of the outcome on the treatment, covariates and treatment-covariate interactions. We investigate the implications of choices in implementing an ODTR SuperLearner at various sample sizes. Our results show the advantages of: (1) including a combination of both flexible machine learning algorithms and simple parametric estimators in the library of candidate algorithms; (2) using an ensemble metalearner to combine candidates rather than selecting only the best-performing candidate; (3) using the mean outcome under the rule as a risk function. Finally, we apply the ODTR SuperLearner to the "Interventions" study, an ongoing randomized controlled trial, to identify which justice-involved adults with mental illness benefit most from cognitive behavioral therapy (CBT) to reduce criminal re-offending.

연구 동기 및 목표

• 다양한 환자 하위군에서 치료 효과 이질성을 고려하는 강력하고 융통성 있는 최적 동적 치료 규칙(ODTR) 추정 방법을 개발하는 것.
• 복잡한 공변수와 치료 효과 간의 상호작용을 포착하지 못하는 전통적 하위군 분석 및 파라미터 기반 모델의 한계를 해결하는 것.
• 정밀의료를 이끌기 위해 특정 간병(예: 정신질환을 가진 사법 관여자에서 재범을 줄이기 위한 인지행동치료, CBT)에 가장 이바지하는 환자를 식별하는 것.
• ODTR SuperLearner의 구현에 실용적인 지침을 제공하는 것—라이브러리 구성, 메타러너 선택, 위험 함수 선택 등.
• 시뮬레이션과 'Interventions' RCT의 실제 데이터를 통해 방법을 검증하여 개인 맞춤 치료 효과 추정 성능 향상을 입증하는 것.

제안 방법

• ODTR SuperLearner는 초안 추정기의 앙상블을 통해 최적의 동적 치료 규칙을 추정함으로써 슈퍼러너 알고리즘의 원리를 원인 추론에 확장한다.
• 이 방법은 이중 단계 접근법을 사용한다: 먼저 공변수 조건부 치료 효과(블립 함수)를 추정하고, 그 다음 이 추정치들을 메타러너를 통해 조합하여 최종 규칙을 도출한다.
• 유연한 기계학습 방법(예: 랜덤 포레스트, 라소)과 파라미터 기반 모델(예: 일반선형모형, GLMs)을 포함한 후보 알고리즘 라이브러리를 활용하여 모델 적응력을 향상시킨다.
• 메타러너는 후보 알고리즘의 예측치를 이산적(선택 전용) 또는 연속적(가중 조합) 방식으로 조합하며, 후자의 경우 더 뛰어난 성능을 보였다.
• 최적 조합을 선택하기 위한 위험 함수는 추정된 규칙 하에서의 평균 결과($ R_{E[Y_d]} $)에 기반하며, 이는 평균 제곱오차보다 실제 치료 규칙의 성능을 더 잘 반영한다.
• 이 방법은 원인 추론의 도표를 따르며, 측정되지 않은 혼란 요인이 없고, 반사적 결과가 일관되게 추정된다는 가정 하에 ODTR의 식별이 가능하다.

실험 결과

연구 질문

• RQ1 ODTR SuperLearner는 다양한 공변수 구조에서 전통적 파라미터 기반 모델과 비교해 치료 효과 이질성을 어떻게 추정하는가?
• RQ2 후보 알고리즘 라이브러리에 융통성 있는 기계학습 알고리즘과 파라미터 기반 모델을 모두 포함했을 때 ODTR 추정 성능에 어떤 영향을 미치는가?
• RQ3 여러 알고리즘의 예측치를 조합하는 연속적 메타러너를 사용할 경우, 단일 최적 성능 알고리즘을 선택하는 것보다 성능이 뛰어나다고 할 수 있는가?
• RQ4 평균 제곱오차와 규칙 하에서의 평균 결과 중 어떤 위험 함수를 선택하는 것이 추정된 ODTR의 정확도에 영향을 미치는가?
• RQ5 실제로 사법 관여자 중 정신질환을 가진 individuals를 대상으로 한 'Interventions' RCT에서 ODTR SuperLearner는 인지행동치료(CBT)가 어떤 하위군에서 가장 효과적인지 효과적으로 식별할 수 있는가?

주요 결과

• ODTR SuperLearner는 비선형 상호작용을 포함한 복잡한 데이터 생성 과정에서 전통적 파라미터 기반 모델보다 치료 효과 이질성을 훨씬 더 잘 추정한다.
• 후보 라이브러리에 융통성 있는 기계학습 알고리즘과 단순한 파라미터 추정기 모두를 포함할 경우, 한 종류만 사용하는 것보다 더 정확하고 강건한 ODTR 추정이 가능하다.
• 여러 알고리즘의 예측치를 조합하는 연속적 메타러너를 사용할 경우, 단일 최고 성능 알고리즘만 선택하는 것보다 더 뛰어난 성능을 보였다.
• 추정된 규칙 하에서의 평균 결과($ R_{E[Y_d]} $)를 위험 함수로 사용할 경우, 평균 제곱오차보다 더 정확한 ODTR 추정이 가능하며, 이는 치료 규칙의 예상 결과를 직접 최적화하기 때문이다.
• 'Interventions' RCT에서 ODTR SuperLearner는 낮은 약물 사용 수준을 가진 individuals에서 CBT가 재구금 확률을 감소시킴을 식별하여 이 공변수에 따라 치료 효과의 이질성이 있음을 시사했다.
• 시뮬레이션 DGP 1에서는 진짜 최적 치료를 78%의 정확도로 할당했고, DGP 2에서는 75%의 정확도를 기록하여 다양한 시나리오에서 뛰어난 실증 성능을 입증했다.