[논문 리뷰] Robust Hybrid Learning for Estimating Personalized Dynamic Treatment Regimens

Ying Liu, Yuanjia Wang외 3명|arXiv (Cornell University)|2016. 11. 07.

Control Systems and Identification참고 문헌 29인용 수 27

한 줄 요약

이 논문은 순차적 다단계 배정 랜덤화 시험(SMARTs)에서 최적의 개인화된 동적 치료 계획(DTRs)을 추정하기 위해 결과 가중 학습과 Q-학습을 융합한 강건한 하이브리드 방법인 증강 다단계 결과 가중 학습(AMOL)을 제안한다. AMOL은 双중 강건 보정을 통합하여 수치적 안정성, 효율성, 강건성을 향상시키며, 모형 오Specification 상황에서도 최적의 가치 함수로의 수렴 속도를 보장한다.

ABSTRACT

Dynamic treatment regimens (DTRs) are sequential decision rules tailored at each stage by potentially time-varying patient features and intermediate outcomes observed in previous stages. The complexity, patient heterogeneity and chronicity of many diseases and disorders call for learning optimal DTRs which best dynamically tailor treatment to each individual's response over time. Proliferation of personalized data (e.g., genetic and imaging data) provides opportunities for deep tailoring as well as new challenges for statistical methodology. In this work, we propose a robust hybrid approach referred as Augmented Multistage Outcome-Weighted Learning (AMOL) to integrate outcome-weighted learning and Q-learning to identify optimal DTRs from the Sequential Multiple Assignment Randomization Trials (SMARTs). We generalize outcome weighted learning (O-learning; Zhao et al.~2012) to allow for negative outcomes; we propose methods to reduce variability of weights in O-learning to achieve numeric stability and higher efficiency; finally, for multiple-stage SMART studies, we introduce doubly robust augmentation to machine learning based O-learning to improve efficiency by drawing information from regression model-based Q-learning at each stage. The proposed AMOL remains valid even if the Q-learning model is misspecified. We establish the theoretical properties of AMOL, including the consistency of the estimated rules and the rates of convergence to the optimal value function. The comparative advantage of AMOL over existing methods is demonstrated in extensive simulation studies and applications to two SMART data sets: a two-stage trial for attention deficit and hyperactive disorder (ADHD) and the STAR*D trial for major depressive disorder (MDD).

연구 동기 및 목표

• 고차원적이고 시간에 따라 변화하는 환자 특성과 중간 결과가 존재하는 상황에서 최적의 동적 치료 계획(DTRs)을 추정하는 데 도전하는 것.
• 결과 가중 학습(O-learning)의 수치적 안정성과 추정 효율성을 향상시키기 위해 가중치 변동성을 줄이는 것.
• 각 단계에서 기계 학습 기반 O-학습과 회귀 기반 Q-학습을 융합하는 이중 강건 보정 프레임워크를 개발하는 것.
• Q-학습 모형이 오Specification된 경우에도 추정된 DTR의 타당성과 일致성을 보장하는 것.
• 제안된 방법의 이론적 수렴 속도와 유한 표본 성능 보장을 수립하는 것.

제안 방법

• 다단계 SMART 설계의 각 단계에서 이중 강건 보정을 통해 결과 가중 학습(O-learning)과 Q-학습을 융합하는 하이브리드 접근법인 AMOL을 제안한다.
• O-학습을 일반화하여 음수 결과도 처리할 수 있도록 하여 다양한 임상 반응 지표에 대한 적용 가능성을 넓힌다.
• 결과 가중치의 분산을 줄이는 기법을 도입하여 수치적 안정성과 추정 효율성을 향상시킨다.
• 결과 가중 추정과 회귀 기반 추정을 모두 포함하는 보정 손실 함수를 사용한 역행 추정(backward induction)을 통해 강건성을 향상시킨다.
• 정규화와 경험 위험 최소화를 적용하며, 추정된 가중치와 단계별 함수에 의존하는 손실 함수를 사용한다.
• 집중 불등식과 엔트로피 기반 경계를 적용하여 모형 오Specification 하에서 이론적 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 결과 가중 학습은 음수 결과를 처리할 수 있도록 일반화될 수 있는가, 동시에 수치적 안정성을 유지할 수 있는가?
• RQ2 O-학습에서의 가중치 변동성을 어떻게 줄일 수 있을까? 이를 통해 추정 효율성과 안정성이 향상될 수 있는가?
• RQ3 O-학습과 Q-학습을 융합한 하이브리드 방법이 최적의 DTR을 추정하는 데 뛰어난 성능을 낼 수 있는가?
• RQ4 제안된 이중 강건 보정이 모형 오Specification 하에서도 추정 효율성과 강건성을 향상시키는가?
• RQ5 제안된 방법의 이론적 수렴 속도는 최적의 가치 함수로 향해 어떻게 되는가?

주요 결과

• Q-학습 모형이 오Specification된 경우에도 AMOL은 최적의 DTR을 일致적으로 추정하여 방법론적 타당성을 확보한다.
• 특히 소규모에서 중간 규모의 표본 크기에서 결과 가중치의 분산을 줄임으로써 수치적 안정성과 효율성이 향상된다.
• 이론적 분석을 통해 추정된 가치 함수가 최적의 가치 함수로 수렴하는 속도를 규명하였으며, 이 속도는 함수 클래스의 복잡성과 표본 크기에 따라 달라진다.
• 시뮬레이션 연구 결과, 다양한 모형 오Specification 상황에서 AMOL은 기존 방법보다 가치 함수 추정과 규칙 정확도에서 뛰어난 성능을 보였다.
• ADHD 시험과 STAR*D MDD 시험의 두 가지 실제 SMART 데이터셋에 적용한 결과, AMOL은 최적의 치료 순서를 식별하는 데 실용적 유용성과 뛰어난 성능을 입증하였다.
• 이중 강건 보정은 기계 학습과 회귀 기반 모델링 접근법의 강점을 결합함으로써 추정 효율성을 크게 향상시켰다.