[논문 리뷰] Efficient augmentation and relaxation learning for individualized treatment rules using observational data

Ying‐Qi Zhao, Eric B. Laber외 3명|PubMed|2019. 01. 03.

Statistical Methods and Inference참고 문헌 29인용 수 78

한 줄 요약

본 논문은 관찰 데이터에서 최적의 개인화된 처치 규칙(ITR)을 학습하기 위한 이중 로버스트하고 볼록 완화(convex-relaxation) 접근법인 EARL을 도입한다. 이는 성향 점수(propensity score) 모델과 결과(outcome) 모델을 모두 통합한다. 이론적 위험도/수렴 보장을 제공하고, 기존 방법에 비해 유한 샘플에서의 성능 향상을 입증한다.

ABSTRACT

Individualized treatment rules aim to identify if, when, which, and to whom treatment should be applied. A globally aging population, rising healthcare costs, and increased access to patient-level data have created an urgent need for high-quality estimators of individualized treatment rules that can be applied to observational data. A recent and promising line of research for estimating individualized treatment rules recasts the problem of estimating an optimal treatment rule as a weighted classification problem. We consider a class of estimators for optimal treatment rules that are analogous to convex large-margin classifiers. The proposed class applies to observational data and is doubly-robust in the sense that correct specification of either a propensity or outcome model leads to consistent estimation of the optimal individualized treatment rule. Using techniques from semiparametric efficiency theory, we derive rates of convergence for the proposed estimators and use these rates to characterize the bias-variance trade-off for estimating individualized treatment rules with classification-based methods. Simulation experiments informed by these results demonstrate that it is possible to construct new estimators within the proposed framework that significantly outperform existing ones. We illustrate the proposed methods using data from a labor training program and a study of inflammatory bowel syndrome.

연구 동기 및 목표

• 강한 무시 가능성(ignorability), 일관성, 양의성 가정하에 관찰 데이터로부터 최적의 개인화된 처치 규칙(ITR)을 추정하는 것을 동기화한다.
• 해석 가능성과 견고성을 향상시키기 위해 ITR 클래스와 결과 모델을 분리하는 직접적이고 확장 가능한 방법을 개발한다.
• 계산 효율과 이론적 수렴 보장을 가능하게 하기 위해 강화된 역확률 가중 추정기의 볼록 완화를 제안한다.
• 이중 강건성(double robustness)을 확립한다: 성향 점수 모델이나 결과 모델 중 하나가 올바르게 명시되었을 때 규칙의 일관성을 보장한다.
• 샘플 분할 및 다양한 볼록 대리손실 하에서 EARL에 대한 이론적 위험 경계와 수렴 속도를 제시한다.

제안 방법

• ITR을 d(x)=sgn{f(x)}로 정의하고, f를 측정 가능한 클래스에서 볼록 대리 손실로 최적화한다.
• 성향 점수와 결과 모델에 대해 이중 강건성을 달성하기 위해 AIPWE를 사용하여 강화된 가치 추정기를 구성한다.
• 추정된 π와 Q 함수로부터 도출된 가중치를 포함하고 패널티를 갖는 대리 손실을 최소화하는 볼록 최적화 문제로 EARL을 공식화한다.
• nuisance 함수 추정(π, Q)을 위험 최소화 단계와 분리하기 위해 샘플 분할을 도입하여 더 약한 엔트로피 조건을 가능하게 한다.
• AIPWE 기반 기준을 최대화하는 것이 가중된 0-1 손실을 최소화하는 것과 동치임을 보이고, 이는 볼록 대리손실(hinge, logistic, exponential, squared hinge)로 근사된다.
• 대리 손실과 가치 함수 위험 간의 이론적 결과를 제공하고, 대리손실, nuisance 함수의 속도, 근사 공간에 따라 수렴 속도를 도출한다.

실험 결과

연구 질문

• RQ1 사전 지정된 규칙 클래스 내에서 해석 가능성을 유지하면서 이중 강건하고 계산적으로 효율적인 방법으로 관찰 데이터로부터 최적의 ITR을 추정할 수 있는가?
• RQ2 다양한 볼록 대리손실과 nuisance 함수 추정 속도가 EARL 내에서 추정된 ITR의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ3 샘플 분할이 엔트로피 조건을 완화하고 EARL 추정기에 대해 견고한 이론적 보장을 제공하는가?
• RQ4 어떤 시나리오에서 EARL 추정기가 OWL이나 IPWE 기반 방법 등 기존 방법보다 유한 샘플에서 더 우수한 성능을 보이는가?
• RQ5 EARL 하에서 대리 손실과 가치 함수 위험 간의 이론적 위험 경계는 무엇인가?

주요 결과

• EARL은 이중 강건 프레임워크를 제공한다: 성향 모델이나 Q 함수 모델 중 하나가 올바르게 명시되면 추정된 ITR은 일관성을 가진다.
• AIPWE의 볼록한(relaxation) 속의 최대화는 가중 대리 손실 최소화로 축소되어 고차원에서의 효율적 최적화를 가능하게 한다.
• 수렴 속도 결과는 볼록 대리 손실의 선택, nuisance 함수의 속도, 근사 공간이 성능에 어떤 영향을 미치는지 보여준다.
• 샘플 분할은 nuisance 추정과 실증적 위험 최소화 간의 의존성을 제거하여 엔트로피 요건을 완화하고 이론적 보장을 개선한다.
• EARL은 OWL을 특수한 경우로 포함하고, π와 Q 추정치 간의 곱셈 오차 구조로 인해 IPWE 기반 방법보다 유한 샘플에서 더 빠른 성능을 달성할 수 있다.
• 이론에 기반한 시뮬레이션 연구는 기존 방법에 비해 유한 샘플에서 현저한 개선을 보여주고, 실제 데이터 예시로는 노동 교육 프로그램과 염증성 장 질환 연구가 포함된다.