[논문 리뷰] Concentration of Benefit index: A threshold-free summary metric for quantifying the capacity of covariates to yield efficient treatment rules

Mohsen Sadatsafavi, Mohammad Alì Mansournia외 1명|arXiv (Cornell University)|2020. 01. 01.

Health Systems, Economic Evaluations, Quality of Life참고 문헌 35인용 수 6

한 줄 요약

논문은 랜덤화된 임상 시험 자료를 활용하여 치료를 받는 환자 중에서 가장 많은 혜택을 볼 환자를 예측하는 데에 있어 공변량의 예측 능력을 정량화하는 임계값이 없는 지표인 이득 집중도(Cb)를 도입한다. 이는 두 명의 무작위로 선택된 환자 중 한 명을 치료할 때 공변량 정보가 있는지 여부에 따라 기대 결과를 비교하여 산정된다. Cb는 모든 치료 임계값에 걸쳐 개인 맞춤 치료 규칙 성능을 이론적으로 탄탄하고 해석 가능한 방법으로 측정한다.

ABSTRACT

When data on treatment assignment, outcomes, and covariates from a randomized trial are available, a question of interest is to what extent covariates can be used to optimize treatment decisions. Statistical hypothesis testing of covariate-by-treatment interaction is ill-suited for this purpose. The application of decision theory results in treatment rules that compare the expected benefit of treatment given the patient's covariates against a treatment threshold. However, determining treatment threshold is often context-specific, and any given threshold might seem arbitrary when the overall capacity towards predicting treatment benefit is of concern. We propose the Concentration of Benefit index (Cb), a threshold-free metric that quantifies the combined performance of covariates towards finding individuals who will benefit the most from treatment. The construct of the proposed index is comparing expected treatment outcomes with and without knowledge of covariates when one of a two randomly selected patients are to be treated. We show that the resulting index can also be expressed in terms of the integrated efficiency of individualized treatment decision over the entire range of treatment thresholds. We propose parametric and semi-parametric estimators, the latter being suitable for out-of-sample validation and correction for optimism. We used data from a clinical trial to demonstrate the calculations in a step-by-step fashion, and have provided the R code for implementation (https://github.com/msadatsafavi/txBenefit). The proposed index has intuitive and theoretically sound interpretation and can be estimated with relative ease for a wide class of regression models. Beyond the conceptual developments, various aspects of estimation and inference for such a metric need to be pursued in future research.

연구 동기 및 목표

• 기존의 공변량-치료 상호작용에 대한 전통적 가설 검정의 한계를 해결하여 효과적인 치료 규칙을 식별하는 데 목적이 있다.
• 임의의 치료 임계값에 의존하지 않고 공변량이 치료 혜택을 예측할 수 있는 총합 능력을 정량화하는 지표를 개발하는 데 목적이 있다.
• 모든 가능한 임계값에 걸쳐 개인 맞춤 치료 규칙 성능을 이론적으로 탄탄하고 해석 가능하며 추정 가능한 요약 측정치로 제공하는 데 목적이 있다.
• 반경외 검증과 낙관적 편향 보정을 가능하게 하는 준모수적 추정 방법을 통해 실용적 적용을 가능하게 하는 데 목적이 있다.
• 실제 임상 시험 데이터를 활용하여 지표의 실용적 적용을 시연하고, 구현을 위한 공개 소스 R 코드를 제공하는 데 목적이 있다.

제안 방법

• 이득 집중도(Cb)는 두 명의 무작위로 선택된 환자 중 한 명을 치료할 때 공변량 정보가 있는지 여부에 따라 기대 결과의 차이로 정의된다.
• Cb는 모든 치료 임계값 범위에서 개인 맞춤 치료 결정의 통합 효율성과 수학적으로 동일하다.
• 모수적 및 준모수적 추정기법을 제안하며, 후자는 반경외 검증과 낙관적 편향 보정을 가능하게 한다.
• 이 방법은 조건부 치료 효과를 추정하기 위해 회귀 모델을 활용하고, 이를 통해 지표를 계산함으로써 해석 가능성을 유지한다.
• 지표는 경험적 위험 최소화를 통해 추정되며, 광범위한 회귀 모델 클래스에 적용 가능하다.
• 실제 임상 및 헬스 서비스 연구에서의 재현성과 실용적 활용을 위해 R 패키지가 제공된다.

실험 결과

연구 질문

• RQ1 어떻게 특정 치료 임계값에 종속되지 않고, 공변량이 치료에서 가장 많은 혜택을 볼 환자를 식별하는 데에 있어 총합 예측 능력을 정량화할 수 있는가?
• RQ2 모든 가능한 임계값에 걸쳐 개인 맞춤 치료 규칙 성능을 요약하는 데 있어 이론적으로 탄탄하고 해석 가능한 지표는 무엇인가?
• RQ3 과적합에 대해 강건하고 반경외 검증이 가능한 방법으로 그러한 지표를 어떻게 추정할 수 있는가?
• RQ4 제안된 지표는 효율적으로 계산되어 실세계 임상 시험 자료에 적용될 수 있는가?
• RQ5 제안된 지표와 기존의 치료 효과 이질성 측정치 사이의 관계는 어떠한가?

주요 결과

• 이득 집중도(Cb)는 치료에서 가장 많은 혜택을 볼 환자를 식별하는 데 있어 공변량의 유용성을 임계값이 없는 요약 지표로 제공한다.
• Cb는 모든 치료 임계값에 걸쳐 개인 맞춤 치료 규칙의 통합 효율성과 수학적으로 동일하므로 통합된 해석을 제공한다.
• 제안된 준모수적 추정기법은 반경외 검증과 낙관적 편향 보정을 가능하게 하여 실세계 적용에서 신뢰성을 높인다.
• 지표는 두 명의 무작위로 선택된 환자 중 공변량 정보를 바탕으로 더 나은 환자를 선별할 경우 기대 결과 향상 정도로 해석 가능하다.
• 이 방법은 광범위한 회귀 모델 클래스에 적용 가능하며, 공개된 R 코드를 통해 구현이 가능하다.
• 지표는 실증적으로 강력한 이론적 기반과 실용적 유용성을 보이며, 단계별 응용 사례를 통해 이를 입증했다.