[논문 리뷰] Heterogeneous Treatment Effect Estimation using machine learning for Healthcare application: tutorial and benchmark

Yaobin Ling, Pulakesh Upadhyaya외 3명|arXiv (Cornell University)|2021. 09. 27.

Advanced Causal Inference Techniques참고 문헌 62인용 수 7

한 줄 요약

이 논문은 의료 응용 분야에서 기계학습을 활용한 이질적 치료 효과(HTE) 추정을 소개하며, 실제 보험 청구 데이터에 대한 가이드 및 벤치마크를 제공한다. 개인화된 치료 효과 예측을 위한 다양한 기계학습 모델을 평가하여 약물 재창출 및 임상 의사결정 지원에서의 실현 가능성과 해석 가능성에 대한 근거를 제시한다.

ABSTRACT

Developing new drugs for target diseases is a time-consuming and expensive task, drug repurposing has become a popular topic in the drug development field. As much health claim data become available, many studies have been conducted on the data. The real-world data is noisy, sparse, and has many confounding factors. In addition, many studies have shown that drugs effects are heterogeneous among the population. Lots of advanced machine learning models about estimating heterogeneous treatment effects (HTE) have emerged in recent years, and have been applied to in econometrics and machine learning communities. These studies acknowledge medicine and drug development as the main application area, but there has been limited translational research from the HTE methodology to drug development. We aim to introduce the HTE methodology to the healthcare area and provide feasibility consideration when translating the methodology with benchmark experiments on healthcare administrative claim data. Also, we want to use benchmark experiments to show how to interpret and evaluate the model when it is applied to healthcare research. By introducing the recent HTE techniques to a broad readership in biomedical informatics communities, we expect to promote the wide adoption of causal inference using machine learning. We also expect to provide the feasibility of HTE for personalized drug effectiveness.

연구 동기 및 목표

• 기계학습의 인과 추론 방법과 실제 의료 응용 간 격차를 메우기 위해.
• 실제 의료 행정 청구 데이터를 활용한 이질적 치료 효과(HTE) 추정의 실현 가능성 평가를 위해.
• 생물의학 정보학자들이 의료 연구에 HTE 방법을 적용하는 데 실용적인 가이드를 제공하기 위해.
• 의료 환경에서 HTE 추정을 위한 다수의 기계학습 모델을 벤치마킹하기 위해.
• 임상 및 번역 연구 환경에서 HTE 모델의 해석 및 평가를 유의미하게 이끌어내기 위해.

제안 방법

• 연구는 이질적 치료 효과(HTE) 추정을 위한 최신 기계학습 모델들, 즉 더블 머신러닝, 인과 숲, 딥러닝 기반 접근법을 활용한다.
• 모델들은 환자 공변량, 치료 노출, 결과를 나타내는 특징을 포함한 실제 의료 청구 데이터로 훈련된다.
• 프레임워크는 잠재적 결과 모델링을 사용하여 혼동 요인을 고려한 개별 수준의 치료 효과를 추정한다.
• 모델 성능은 반사적 결과에 대해 평균 제곱오차(MSE) 및 결정계수(R-squared)와 같은 지표를 사용해 평가된다.
• 이중 단계 추정 과정이 적용되며, 첫 번째 단계에서는 결과 및 성향 스코어 모델을 훈련하고, 두 번째 단계에서는 잔차 기반 방법을 사용해 치료 효과를 추정한다.
• 정밀한 초모수 튜닝과 교차검증을 통해 모델의 강건성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 기계학습 기반 HTE 추정은 실제 의료 청구 데이터에 효과적으로 적용될 수 있는가?
• RQ2 다양한 HTE 모델들이 의료 기준 벤치마크에서 정확도와 안정성 측면에서 어떻게 비교되는가?
• RQ3 노이즈가 많고 희소하며 혼동 요인이 있는 실제 데이터에 HTE 방법을 적용할 때의 주요 과제는 무엇인가?
• RQ4 임상 연구 환경에서 HTE 모델을 어떻게 의미 있게 해석하고 평가할 수 있는가?
• RQ5 HTE 추정은 개인화된 약물 효과 예측 및 약물 재창출을 어느 정도 지원할 수 있는가?

주요 결과

• 연구는 기계학습 기반 HTE 모델이 실제 청구 데이터에서 의미 있는 성능을 달성할 수 있음을 입증하였으며, 일부 모델은 전통적 방법을 능가하는 성능을 보였다.
• 인과 숲과 더블 ML 모델은 다양한 환자 하위군에서 이질적 치료 효과를 추정할 때 강건성과 낮은 편향을 보였다.
• 모델 성능은 데이터 품질에 따라 크게 달라졌으며, 높은 발생 빈도의 질환과 노이즈가 적은 데이터셋에서 더 좋은 결과를 보였다.
• SHAP 값과 같은 해석 도구는 임상의가 예측된 치료 효과에 가장 영향을 미치는 환자 특징을 이해하는 데 도움이 되었다.
• 벤치마크 결과, 어떤 모델도 모든 결과에서 일관되게 다른 모델를 앞서지 않았으며, 데이터 특성에 따라 모델 선택이 필요함을 시사했다.
• 결과는 HTE 추정이 실제 의료 환경에서 개인화 의료 및 약물 재창출을 위한 실현 가능성에 기여할 수 있음을 뒷받침한다.