[논문 리뷰] LLM Augmented Intervenable Multimodal Adaptor for Post-operative Complication Prediction in Lung Cancer Surgery

Shubham Pandey, Bhavin Jawade외 3명|arXiv (Cornell University)|2026. 01. 20.

Machine Learning in Healthcare인용 수 0

한 줄 요약

MIRACLE은 수술 전 임상 데이터, CT 방사능 특징, 그리고 LLM이 생성한 설명을 하나의 개입 가능한 다중모달 모델로 통합하여 폐암 수술의 수술 후 합병증을 예측하고, 기준치를 능가하며 임상의와의 상호작용을 가능하게 한다.

ABSTRACT

Postoperative complications remain a critical concern in clinical practice, adversely affecting patient outcomes and contributing to rising healthcare costs. We present MIRACLE, a deep learning architecture for prediction of risk of postoperative complications in lung cancer surgery by integrating preoperative clinical and radiological data. MIRACLE employs a hyperspherical embedding space fusion of heterogeneous inputs, enabling the extraction of robust, discriminative features from both structured clinical records and high-dimensional radiological images. To enhance transparency of prediction and clinical utility, we incorporate an interventional deep learning module in MIRACLE, that not only refines predictions but also provides interpretable and actionable insights, allowing domain experts to interactively adjust recommendations based on clinical expertise. We validate our approach on POC-L, a real-world dataset comprising 3,094 lung cancer patients who underwent surgery at Roswell Park Comprehensive Cancer Center. Our results demonstrate that MIRACLE outperforms various traditional machine learning models and contemporary large language models (LLM) variants alone, for personalized and explainable postoperative risk management.

연구 동기 및 목표

• 폐암 수술에서 개인 맞춤 위험 평가를 가능하게 하여 높은 수술 후 합병증 발생률에 대처한다.
• 구조화된 임상 데이터와 방사선 영상 바이오마커를 통합하여 예측 성능을 향상시킨다.
• 도메인 지식에 기반한 언어 기반 설명을 도입하여 투명성과 임상의 개입을 지원한다.
• 로즈웰 파크 종합 암 센터의 POC-L 데이터셋을 이용한 실제 현장 검증 프레임워크를 제공한다.

제안 방법

• 임상(c) 및 방사선(r) 특징에 대해 두 개의 Bayesian MLP 인코더를 사용하여 d차원 임베딩을 생성한다.
• 임상 요약 S, 도메인 지식 뱅크 K, 프롬프트 P로부터 LLM 기반 발언 M을 생성하고, 고정된 텍스트 인코더 f_m으로 M을 임베딩한다.
• 가중합을 통해 임베딩 E_c, E_r, E_m을 융합하여 E를 형성한 뒤, Bayesian MLP 분류기를 통과시켜 합병증 확률 ŷ를 예측한다.
• 클래스 불균형을 다루고 예측의 불확실성을 보정하기 위해 focal loss로 학습한다.
• 생성된 발언 M이 임상의에 의해 편집되고 재임베딩되어 실시간으로 ŷ를 업데이트하도록 임상의 개입 경로를 제공한다.

실험 결과

연구 질문

• RQ1 임상 데이터, 방사능 특징, LLM 생성 설명의 다중모달 융합이 폐암 수술의 수술 후 합병증 예측을 향상시킬 수 있는가?
• RQ2 LLM 생성 설명에 대한 임상의 개입 가능성을 허용하는 것이 예측 성능과 임상적 유용성을 향상시키는가?
• RQ3 이 작업에서 임상 특징만 사용하는 것에 비해 방사선특징의 추가 가치는 어느 정도인가?
• RQ4 예측 성능 및 설명 품질 측면에서 MIRACLE에 통합될 때 서로 다른 오픈 소스 LLM들은 어떻게 비교되는가?
• RQ5 훈련 데이터세트(POC-L)를 넘어 균형이 맞지 않는 실제 데이터에서도 MIRACLE 프레임워크가 일반화될 수 있는가?

주요 결과

모델	AUC (%)	TPR(%) @ FPR = 0.2	TPR(%) @ FPR = 0.3
Llama 3.3 70B-Instruct	69.68	41.12	74.77
DeepSeek R1-Distill Qwen-32B	64.49	54.21	56.07
OpenBioLLM-70B	71.01	52.34	60.75
Multivariate logistic regression	80.89	73.83	80.37
Random Forest Classifier	77.00	62.62	74.76
XGBoost	75.17	53.27	64.48
Gradient Boosting Classifier	78.53	65.42	67.29
LightGBM	74.77	46.73	69.16
Surgeons	–	44.86	–
MIRACLE (DeepSeek R1 distill)	80.94	73.83	81.31
MIRACLE (Llama 3.3 70B-Instruct)	80.84	71.03	81.31
MIRACLE (OpenBioLLM-70B)	81.04	71.96	81.31

• MIRACLE은 기준선보다 더 높은 AUC를 달성하며, OpenBioLLM-70B가 81.04%, DeepSeek R1–Distill Qwen-32B가 80.94%의 AUC에 도달했다.
• 고정 FPR=0.3에서 MIRACLE는 변형들 중에서 가장 높은 TPR 81.31%를 달성한다.
• FPR=0.2에서 DeepSeek R1–Distill을 사용하는 MIRACLE은 최고 고전적 기준선 TPR 73.83%와 일치한다.
• 단변 요약: 임상 특징과 방사선 특징을 함께 사용하면 AUC가 78.64%로 향상되며, 세 가지 구성요소(임상, 방사선, LLM 발언)를 모두 포함하면 AUC가 80.94%에 이른다.
• 수술 의사들는 FPR=0.2에서 44.86%의 TPR을 달성하여 MIRACLE의 성능 이점을 강조한다.
• 방사선 특징은 판별력과 민감도를 크게 향상시키며, 위험도 구분에서 영상 바이오마커의 가치를 입증한다.
• 설명 채널은 임상의 수정으로 위험 예측에 영향을 주도록 하여 상호작용형 의사결정 지원 워크플로를 뒷받침한다.