[논문 리뷰] TWIN-GPT: Digital Twins for Clinical Trials via Large Language Model

Yue Wang, Fu, Tianfan외 7명|arXiv (Cornell University)|2024. 04. 01.

Artificial Intelligence in Healthcare and Education인용 수 8

한 줄 요약

TWIN-GPT는 미세 조정된 대형 언어 모델을 활용하여 개인화된 디지털 트윈을 환자에게 제공하고, 가상 임상시험 예측을 개선하며 고충실도, 프라이버시를 보호하는 합성 EHR 데이터를 가능하게 한다.

ABSTRACT

Clinical trials are indispensable for medical research and the development of new treatments. However, clinical trials often involve thousands of participants and can span several years to complete, with a high probability of failure during the process. Recently, there has been a burgeoning interest in virtual clinical trials, which simulate real-world scenarios and hold the potential to significantly enhance patient safety, expedite development, reduce costs, and contribute to the broader scientific knowledge in healthcare. Existing research often focuses on leveraging electronic health records (EHRs) to support clinical trial outcome prediction. Yet, trained with limited clinical trial outcome data, existing approaches frequently struggle to perform accurate predictions. Some research has attempted to generate EHRs to augment model development but has fallen short in personalizing the generation for individual patient profiles. Recently, the emergence of large language models has illuminated new possibilities, as their embedded comprehensive clinical knowledge has proven beneficial in addressing medical issues. In this paper, we propose a large language model-based digital twin creation approach, called TWIN-GPT. TWIN-GPT can establish cross-dataset associations of medical information given limited data, generating unique personalized digital twins for different patients, thereby preserving individual patient characteristics. Comprehensive experiments show that using digital twins created by TWIN-GPT can boost the clinical trial outcome prediction, exceeding various previous prediction approaches.

연구 동기 및 목표

• 데이터 부족과 환자 이질성에서 개선된 임상 시험 결과 예측을 동기 부여한다.
• EHR 기반 예측의 데이터 격차와 불일치 문제를 양상 지식과 LLM의 세계 지식을 활용하여 해결한다.
• 임상 시험 기간 동안 개인별 추세를 반영하는 개인화된 디지털 트윈을 개발한다.
• 실제 기록을 사용하는 것이 아니라 가상 환자 데이터를 생성함으로써 프라이버시 보호를 보장한다.

제안 방법

• 임상 시험 데이터에 대해 사전 학습된 LLM(ChatGPT)을 미세 조정하여 개인화된 환자 디지털 트윈을 생성한다.
• 환자 방문을 치료, 약물, 이상 반응에 걸친 다중 핫 벡터로 표현한다.
• twin 생성에 정보를 제공하고 개별 추세에 대해 맥락 학습을 가능하게 하기 위해 K-최근접 이웃을 사용한다.
• 시간 점수와 이벤트 간의 환자 데이터 관계를 학습하기 위해 두 개의 교대 미세 조정 작업으로 학습한다.
• 개인화된 및 반사실적 디지털 트윈을 생성하여 대체 치료 시나리오를 시뮬레이션한다.
• 치밀도 평가를 차원별 확률, 반사실적 유사성, 심각한 결과에 대한 AUROC로 평가한다.

실험 결과

연구 질문

• RQ1 LLMs가 개별 환자를 위한 정확하고 개인화된 디지털 트윈을 생성하여 임상 시험 결과 예측을 개선할 수 있는가?
• RQ2 LLM이 생성한 트윈이 데이터 격차와 EHR의 불일치를 해결하면서 프라이버시를 보존하는가?
• RQ3 합성 트윈이 실제 사건 분포를 얼마나 잘 재현하고 임상 시험에서 반사실 분석을 지원하는가?
• RQ4 디지털 트윈이 기저선 대비 부작용 및 중증 결과 예측에 미치는 영향은 어떤가?

주요 결과

• TWIN-GPT는 실제 데이터에 비해 다수의 기저선보다 부작용 분포의 충실도가 더 높다.
• 모델은 개인화된 치료 효과를 추정하기 위해 반사실적 트윈 생성을 가능하게 한다.
• 평가는 합성 데이터와 실제 데이터 간의 차원별 확률 정렬 및 피어슨 상관 기반의 충실도 평가를 포함한다.
• 중증 결과 예측은 학습 및 테스트에 대해 합성 대 실제 데이터로 AUROC를 사용하여 평가한다.
• 프라이버시 위험 평가에는 존재 노출, 속성 노출, NNAA 기반 과적합 위험이 포함된다.