[論文レビュー] Uncertainty Quantification on Clinical Trial Outcome Prediction

Tianyi Chen, Yingzhou Lu+5 more|arXiv (Cornell University)|Jan 7, 2024

Machine Learning in Healthcare被引用数 6

ひとこと要約

本論文は Hierarchical Interaction Network (HINT) に選択的分類を統合し、臨床試験結果予測における不確実性を定量化する。試験フェーズ全体で顕著な PR-AUC および精度の向上を達成する。低信頼ケースの判断を回避するアプローチで、全体の予測性能を改善する。

ABSTRACT

The importance of uncertainty quantification is increasingly recognized in the diverse field of machine learning. Accurately assessing model prediction uncertainty can help provide deeper understanding and confidence for researchers and practitioners. This is especially critical in medical diagnosis and drug discovery areas, where reliable predictions directly impact research quality and patient health. In this paper, we proposed incorporating uncertainty quantification into clinical trial outcome predictions. Our main goal is to enhance the model's ability to discern nuanced differences, thereby significantly improving its overall performance. We have adopted a selective classification approach to fulfill our objective, integrating it seamlessly with the Hierarchical Interaction Network (HINT), which is at the forefront of clinical trial prediction modeling. Selective classification, encompassing a spectrum of methods for uncertainty quantification, empowers the model to withhold decision-making in the face of samples marked by ambiguity or low confidence, thereby amplifying the accuracy of predictions for the instances it chooses to classify. A series of comprehensive experiments demonstrate that incorporating selective classification into clinical trial predictions markedly enhances the model's performance, as evidenced by significant upticks in pivotal metrics such as PR-AUC, F1, ROC-AUC, and overall accuracy. Specifically, the proposed method achieved 32.37\%, 21.43\%, and 13.27\% relative improvement on PR-AUC over the base model (HINT) in phase I, II, and III trial outcome prediction, respectively. When predicting phase III, our method reaches 0.9022 PR-AUC scores. These findings illustrate the robustness and prospective utility of this strategy within the area of clinical trial predictions, potentially setting a new benchmark in the field.

研究の動機と目的

• 薬剤開発における意思決定を改善するため、臨床試験結果予測における不確実性の定量化を動機づける。
• 低信頼予測を回避するために、選択的分類を組み込んで HINT モデルを拡張する。
• 外部知識とマルチモーダル埋め込みを活用して予測精度と信頼性を向上させる。

提案手法

• 選択的分類と HINT を組み合わせて、不確実なサンプルに対する予測を保留する。
• マルチモーダル入力埋め込み（薬物、疾病、試験プロトコル）と外部知識による事前学習（ADMET および疾病リスク）を使用する。
• 入力、外部知識、集約、予測ノードを持つ階層的相互作用グラフを構築し、動的アテンティブ GCN を予測に適用する。
• データが不完全な場合に薬物情報を回復する補完モジュールを導入する。
• 校正を伴う選択的分類フレームワークを定義し、不確実なケースを回避しつつ高い選択精度をもたらす閾値を設定する。）

実験結果

リサーチクエスチョン

• RQ1 選択的分類は、ベースの HINT モデルと比較して臨床試験結果予測モデルの予測性能にどのような影響を与えるか？
• RQ2 不確実性が定量化され、未知のケースを回避した場合の PR-AUC、F1、ROC-AUC、及び全体の精度の向上はどの程度か？
• RQ3 外部知識（ADMET および疾病リスク）は HINT フレームワークで臨床試験結果予測を改善できるか？
• RQ4 モデルは欠損分子データをどのように扱い、性能にどのような影響を与えるか？

主な発見

• 基礎となる HINT モデルに対する PR-AUC の相対的な改善は、フェーズ I、II、III の臨床試験結果予測でそれぞれ 32.37%、21.43%、13.27% であった。
• フェーズ III を予測する際、この方法は PR-AUC = 0.9022 を達成。
• 選択的分類を通じて、主要指標（PR-AUC、F1、ROC-AUC、全体精度）で顕著な向上を示す。
• このアプローチは、不確実性定量化をグラフベースの予測モデルと統合し、試験開始前の信頼性を高める。