[논문 리뷰] Efficient Learning of Optimal Individualized Treatment Rules for Heteroscedastic or Misspecified Treatment-Free Effect Models

Weibin Mo, Yufeng Liu|arXiv (Cornell University)|2021. 09. 06.

Advanced Causal Inference Techniques참고 문헌 86인용 수 7

한 줄 요약

이 논문은 이질분산성 또는 오차항의 모형 오특성 하에서 다중 약물 치료 설정에서 최적의 개별화된 치료 규칙(ITR)을 추정하기 위한 새로운 프레임워크인 E-Learning을 제안한다. 잔차 분산을 공변량과 치료에 따라 의존적으로 모델링함으로써 E-Learning은 반모수적 효율성과 이중로버스트성을 달성하여, 모형 오특성 또는 이질분산성이 존재할 경우 기존 방법에 비해 추정 효율성을 크게 향상시킨다.

ABSTRACT

Recent development in data-driven decision science has seen great advances in individualized decision making. Given data with individual covariates, treatment assignments and outcomes, researchers can search for the optimal individualized treatment rule (ITR) that maximizes the expected outcome. Existing methods typically require initial estimation of some nuisance models. The double robustness property that can protect from misspecification of either the treatment-free effect or the propensity score has been widely advocated. However, when model misspecification exists, a doubly robust estimate can be consistent but may suffer from downgraded efficiency. Other than potential misspecified nuisance models, most existing methods do not account for the potential problem when the variance of outcome is heterogeneous among covariates and treatment. We observe that such heteroscedasticity can greatly affect the estimation efficiency of the optimal ITR. In this paper, we demonstrate that the consequences of misspecified treatment-free effect and heteroscedasticity can be unified as a covariate-treatment dependent variance of residuals. To improve efficiency of the estimated ITR, we propose an Efficient Learning (E-Learning) framework for finding an optimal ITR in the multi-armed treatment setting. We show that the proposed E-Learning is optimal among a regular class of semiparametric estimates that can allow treatment-free effect misspecification. In our simulation study, E-Learning demonstrates its effectiveness if one of or both misspecified treatment-free effect and heteroscedasticity exist. Our analysis of a Type 2 Diabetes Mellitus (T2DM) observational study also suggests the improved efficiency of E-Learning.

연구 동기 및 목표

• 치료-자기 효과가 오특성되거나 결과 분산이 이질적인 경우 기존 ITR 추정 방법의 비효율성을 해결하기 위해.
• 치료-자기 효과 오특성과 이질분산성을 하나의 원천으로 통합하기 위해: 공변량과 치료에 의존적인 잔차 분산으로서.
• 치료-자기 효과 오특성이 허용되는 정규 추정 클래스 내에서 일관성과 최적성을 유지하는 반모수적 효율 추정 프레임워크를 개발하기 위해.
• 시뮬레이션 연구와 실제 관측 데이터에서의 더 높은 추정 효율성과 로버스트성을 입증하기 위해.

제안 방법

• 공변량과 치료에 따라 잔차 분산을 모델링하여 이질분산성과 오특성 효과를 모두 포착하기 위해.
• 역분산 가중치를 사용하여 이질분산성을 고려한 가중 추정 방정식을 설정하기 위해.
• 균형 가중치를 통해 유도 확률 가중치를 통합하여 치료-자기 효과 모형과 유도 확률 모형에 대해 이중로버스트성을 달성하기 위해.
• 두 단계 추정 절차를 사용하기: 먼저 분산 함수를 추정한 후, 가중 최소제곱법을 적용하여 최적의 ITR을 추정하기 위해.
• 치료-자기 효과 오특성이 허용되는 정규 추정 클래스 내에서 반모수적 효율성을 확보하기 위해.
• 보완된 역확률가중추정방정식(AIPWE) 프레임워크를 활용하여 로버스트성과 효율성을 향상시키기 위해.

실험 결과

연구 질문

• RQ1 결과 잔차의 이질분산성이 최적 ITR 추정의 효율성에 어떤 영향을 미치는가?
• RQ2 치료-자기 효과 오특성과 이질분산성을 공식적으로 하나의 통계적 프레임워크로 통합할 수 있는가?
• RQ3 이질분산성을 고려한 이중로버스트 ITR 추정량은 기존 방법보다 더 높은 효율성을 달성하는가?
• RQ4 누락 모형이 올바르게 지정된 경우, 제안된 E-Learning 프레임워크는 반모수적 효율성을 확보하는가?
• RQ5 치료-자기 효과 모형과 유도 확률 모형이 모두 오특성된 경우, 유한 표본에서 E-Learning은 어떻게 성능을 보이는가?

주요 결과

• 치료-자기 효과 모형과 유도 확률 모형이 모두 정확하게 지정된 경우, E-Learning은 반모수적 효율성을 달성한다.
• 시뮬레이션에서, E-Learning은 동일분산성과 이질분산성 오차 구조 하에서 Q-Learning, D-Learning, RD-Learning에 비해 유의미하게 낮은 오분류율과 회귀를 보였다.
• 모형 오특성이 존재할 경우, E-Learning은 고차원 설정에서 경쟁 방법 대비 20~40% 낮은 오분류율을 유지하며 뛰어난 성능을 보였다.
• T2DM 관측 연구에서, E-Learning은 더 높은 추정 안정성과 낮은 회귀를 보였으며, 수정된 데이터 구성 간에 계수 추정치가 더 일관성 있게 나타났다.
• 이 프레임워크의 이중로버스트 성질은 치료-자기 효과 또는 유도 확률 모형 중 하나가 오특성되어도 일관된 추정을 보장한다.
• ACTG175 데이터셋에 대한 잔차 분석 결과, 치료-자기 효과 오특성과 이질분산성이 모두 존재함을 확인하여, 제안된 프레임워크의 필요성을 검증하였다.