[논문 리뷰] Uncertainty Quantification on Clinical Trial Outcome Prediction

Tianyi Chen, Yingzhou Lu외 5명|arXiv (Cornell University)|2024. 01. 07.

Machine Learning in Healthcare인용 수 6

한 줄 요약

본 논문은 선택적 분류를 Hierarchical Interaction Network (HINT)에 통합하여 임상 시험 결과 예측의 불확실성을 정량화하고, 임상 시험 단계 전반에 걸쳐 주목할 만한 PR-AUC와 정확도 향상을 달성한다. 신뢰도가 낮은 사례에 대해 예측을 보류하는 방식을 통해 전체 예측 성능을 개선한다.

ABSTRACT

The importance of uncertainty quantification is increasingly recognized in the diverse field of machine learning. Accurately assessing model prediction uncertainty can help provide deeper understanding and confidence for researchers and practitioners. This is especially critical in medical diagnosis and drug discovery areas, where reliable predictions directly impact research quality and patient health. In this paper, we proposed incorporating uncertainty quantification into clinical trial outcome predictions. Our main goal is to enhance the model's ability to discern nuanced differences, thereby significantly improving its overall performance. We have adopted a selective classification approach to fulfill our objective, integrating it seamlessly with the Hierarchical Interaction Network (HINT), which is at the forefront of clinical trial prediction modeling. Selective classification, encompassing a spectrum of methods for uncertainty quantification, empowers the model to withhold decision-making in the face of samples marked by ambiguity or low confidence, thereby amplifying the accuracy of predictions for the instances it chooses to classify. A series of comprehensive experiments demonstrate that incorporating selective classification into clinical trial predictions markedly enhances the model's performance, as evidenced by significant upticks in pivotal metrics such as PR-AUC, F1, ROC-AUC, and overall accuracy. Specifically, the proposed method achieved 32.37\%, 21.43\%, and 13.27\% relative improvement on PR-AUC over the base model (HINT) in phase I, II, and III trial outcome prediction, respectively. When predicting phase III, our method reaches 0.9022 PR-AUC scores. These findings illustrate the robustness and prospective utility of this strategy within the area of clinical trial predictions, potentially setting a new benchmark in the field.

연구 동기 및 목표

• 약물 개발에서 의사결정 개선을 위해 임상 시험 결과 예측에서 불확실성 정량화를 동기에 둔다.
• 저신뢰 예측에서 예측을 보류하기 위해 선택적 분류를 도입하여 HINT 모델을 확장한다.
• 외부 지식과 다중 모달 임베딩을 활용해 예측 정확도와 신뢰성을 높인다.

제안 방법

• 선택적 분류를 HINT와 결합하여 불확실한 샘플에 대해 예측을 보류한다.
• 다중 모달 입력 임베딩(약물, 질병, 시험 프로토콜)과 외부 지식 프리트레이닝(ADMET와 질병 위험)을 사용한다.
• 입력, 외부 지식, 집계 및 예측 노드로 구성된 계층적 상호작용 그래프를 구축한 다음, 예측을 위해 동적 주의적 GCN을 적용한다.
• 데이터가 불완전할 때 누락된 약물 정보를 회복하기 위한 보간 모듈을 도입한다.
• 낮은 신뢰도 케이스에서 보류하는 동시에 높은 선택적 정확도를 얻도록 보정이 포함된 선택적 분류 프레임워크를 정의한다.

실험 결과

연구 질문

• RQ1 선택적 분류가 기본 HINT 모델에 비해 임상 시험 결과 예측 모델의 예측 성능에 어떤 영향을 미치는가?
• RQ2 불확실성이 정량화되고 불확실한 사례를 보류할 때 PR-AUC, F1, ROC-AUC 및 전체 정확도의 향상은 무엇인가?
• RQ3 외부 지식(ADMET 및 질병 위험)이 HINT 프레임워크에서 임상 시험 결과 예측을 향상시킬 수 있는가?
• RQ4 모델은 누락된 분자 데이터를 어떻게 처리하며 성능에 미치는 영향은 무엇인가?

주요 결과

• 기본 HINT 모델 대비 PR-AUC의 상대적 개선은 각각 phase I, II, III의 시험 결과 예측에서 32.37%, 21.43%, 13.27%였다.
• phase III를 예측할 때, 이 방법은 PR-AUC 0.9022를 달성한다.
• 선택적 분류를 통해 PR-AUC, F1, ROC-AUC 및 전체 정확도와 같은 주요 지표에서 유의한 향상을 입증한다.
• 이 접근법은 불확실성 정량화를 그래프 기반 예측 모델과 결합하여 시험 시작 전 신뢰성을 향상시킨다.