[논문 리뷰] Latent-state models for precision medicine

Zekun Xu, Eric B. Laber외 2명|arXiv (Cornell University)|2020. 05. 26.

Machine Learning in Healthcare참고 문헌 88인용 수 4

한 줄 요약

이 논문은 불규칙하고 종단적 관찰 데이터에서 최적의 동적 치료 제도를 추정하기 위해 잠재 건강 상태를 통합한 부분 관측 가능 마르코프 결정 과정(POMDP) 모델을 제안한다. 특히 양극성 장애와 같은 만성 정신질환에 적용된다. 관측되지 않은 환자 상태가 치료 반응에 영향을 주는 것을 모델링함으로써, 기존 방법이 시간적 정렬이나 마르코프 가정이 부족하여 실패하는 상황에서도 개인화되고 임상적으로 의미 있는 치료 전략을 추정할 수 있다.

ABSTRACT

Observational longitudinal studies are a common means to study treatment efficacy and safety in chronic mental illness. In many such studies, treatment changes may be initiated by either the patient or by their clinician and can thus vary widely across patients in their timing, number, and type. Indeed, in the observational longitudinal pathway of the STEP-BD study of bipolar depression, one of the motivations for this work, no two patients have the same treatment history even after coarsening clinic visits to a weekly time-scale. Estimation of an optimal treatment regime using such data is challenging as one cannot naively pool together patients with the same treatment history, as is required by methods based on inverse probability weighting, nor is it possible to apply backwards induction over the decision points, as is done in Q-learning and its variants. Thus, additional structure is needed to effectively pool information across patients and within a patient over time. Current scientific theory for many chronic mental illnesses maintains that a patient's disease status can be conceptualized as transitioning among a small number of discrete states. We use this theory to inform the construction of a partially observable Markov decision process model of patient health trajectories wherein observed health outcomes are dictated by a patient's latent health state. Using this model, we derive and evaluate estimators of an optimal treatment regime under two common paradigms for quantifying long-term patient health. The finite sample performance of the proposed estimator is demonstrated through a series of simulation experiments and application to the observational pathway of the STEP-BD study. We find that the proposed method provides high-quality estimates of an optimal treatment strategy in settings where existing approaches cannot be applied without ad hoc modifications.

연구 동기 및 목표

• 불규칙하고 비마르코프 성격을 띤 치료력사와 빈번하고 변수적인 치료 변화를 동반한 종단적 관찰 연구에서 최적의 치료 제도를 추정하는 데 도전하는 것.
• 양극성 장애에서 관측되지 않는 기분 상태와 같은 환자별 잠재 건강 상태를 치료 제도 추정에 통합하여 임상적 관련성과 통계적 효율성을 향상시키는 것.
• 기존의 역확률가중 또는 Q-학습 접근법이 시간적 정렬 부족으로 적용 불가능한 무한수평 설정 하에서 최적의 치료 제도 추정이 가능한 방법을 개발하는 것.
• 잠재 상태 역학을 갖는 POMDP 모델을 사용하여 정밀의료의 이론적으로 타당하고 임상적으로 해석 가능한 프레임워크를 제공하는 것.
• 시뮬레이션과 STEP-BD 관찰 경로에의 응용을 통해 복잡한 데이터 설정에서 기존 방법보다 향상된 추정 성능을 보여주는 것.

제안 방법

• 환자의 건강 궤적을 부분 관측 가능 마르코프 결정 과정(POMDP)으로 모델링하며, 관측된 결과는 관측되지 않은 잠재 건강 상태에 의존한다.
• 현재 잠재 상태와 관측된 공변량 조건 하에서 환자의 건강 변화가 마르코프 성격을 띤다고 가정하여 불확실성 하에서의 순차적 의사결정을 가능하게 한다.
• 정보 상태를 잠재 상태와 현재 환자 측정치의 결합 분포로 정의하며, 이는 최적의 치료 제도를 완전히 결정한다.
• 우도 기반 추론을 사용하여 최적의 치료 제도에 대한 추정기(estimator)를 유도하고, 정규 조건 하에서의 渐近적 성질을 확립한다.
• STEP-BD 연구의 데이터를 사용하여 평균 효용과 할인 효용(γ = 0.95) 두 기준에 따라 치료 제도를 추정한다.
• 결정 트리 시각화를 통해 추정된 최적의 치료 규칙을 해석하며, 분할은 우울, 방랑 또는 기타 기분 상태의 추정 확률 기반으로 이루어진다.

실험 결과

연구 질문

• RQ1 잠재 상태를 갖는 POMDP 모델이 불규칙하고 비마르코프 성격을 띤 치료력사가 있는 관찰 데이터에서 최적의 치료 제도를 효과적으로 추정할 수 있는가?
• RQ2 관측되지 않는 환자 건강 상태를 통합함으로써 추정된 동적 치료 제도의 품질과 임상적 해석 가능성은 어떻게 향상되는가?
• RQ3 기존 방법과 비교해 볼 때, 제안된 추정기의 유한표본 성능은 표준 방법이 실패하는 설정에서 어떻게 되는가?
• RQ4 추정된 최적 제도는 장기적 환자 건강 결과 측면에서 관찰된 임상 실천보다 뛰어나게 성과를 내는가?
• RQ5 다른 효용 기준(평균 대비 할인)은 추정된 최적 치료 제도의 구조에 어떤 영향을 미치는가?

주요 결과

• 제안된 POMDP 기반 방법은 표준 방법이 적절한 수정 없이 적용 불가능한 STEP-BD 관찰 경로에서 최적의 치료 제도를 성공적으로 추정하였다.
• 추정된 최적 제도는 우울을 유발할 수 있는 우울제 단독 요법을 피하고, 기분 안정제 단독 또는 항우울제와 병용 투여를 권고한다. 이는 우울제 투여로 인한 방랑 유발 위험으로 인해 임상 지침과 일치한다.
• 평균 효용 기준에서 추정 제도의 가치(1.81, 95% 신뢰구간: 1.72–1.88)는 관찰된 제도(1.66)를 유의미하게 초월하며, 신뢰구간 하한선도 관찰값을 초과한다.
• 할인 효용(γ = 0.95) 기준에서 추정 제도는 가치 33.76(95% 신뢰구간: 19.24–46.95)을 달성하였으며, 관찰된 값 14.40보다 뚜렷이 높다.
• 모델은 임상적으로 의미 있는 상태 확률을 추정한다. 예를 들어, '우울' 임상 상태에서는 85%의 확률로 우울 상태를, '방랑' 상태에서는 55%의 확률로 방랑 상태를 추정한다.
• 평균 효용과 할인 효용 모두에서 추정된 최적 제도는 정성적으로 유사하며, 우울이 가능성이 높거나 방랑이 불가능성이 높을 경우에만 항우울제 투여가 권고된다.