[논문 리뷰] Multimodal Clinical Trial Outcome Prediction with Large Language Models

Wenhao Zheng, Wang, Liaoyaqi외 6명|arXiv (Cornell University)|2024. 02. 09.

Biomedical Text Mining and OntologiesBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

LIFTED는 다양한 데이터 모odal을 자연어 기술로 변환하여 통합적이고 노이즈에 강한 표현 학습을 가능하게 하는 다중모달 임상 시험 결과 예측 프레임워크를 제안한다. 이는 희소 혼합 전문가(SMoE) 아키텍처를 통해 동적으로 공통 정보 패턴을 식별하고 모달리티 기여도를 적응적으로 가중함으로써, 모든 세 가지 임상 시험 단계에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The clinical trial is a pivotal and costly process, often spanning multiple years and requiring substantial financial resources. Therefore, the development of clinical trial outcome prediction models aims to exclude drugs likely to fail and holds the potential for significant cost savings. Recent data-driven attempts leverage deep learning methods to integrate multimodal data for predicting clinical trial outcomes. However, these approaches rely on manually designed modal-specific encoders, which limits both the extensibility to adapt new modalities and the ability to discern similar information patterns across different modalities. To address these issues, we propose a multimodal mixture-of-experts (LIFTED) approach for clinical trial outcome prediction. Specifically, LIFTED unifies different modality data by transforming them into natural language descriptions. Then, LIFTED constructs unified noise-resilient encoders to extract information from modal-specific language descriptions. Subsequently, a sparse Mixture-of-Experts framework is employed to further refine the representations, enabling LIFTED to identify similar information patterns across different modalities and extract more consistent representations from those patterns using the same expert model. Finally, a mixture-of-experts module is further employed to dynamically integrate different modality representations for prediction, which gives LIFTED the ability to automatically weigh different modalities and pay more attention to critical information. The experiments demonstrate that LIFTED significantly enhances performance in predicting clinical trial outcomes across all three phases compared to the best baseline, showcasing the effectiveness of our proposed key components.

연구 동기 및 목표

• 기존 모델이 수작업으로 설계된 모달리티에 특화된 인코더에 의존함으로써 확장성과 다중모달 패턴 인식 능력이 제한됨을 해결하기 위해.
• 다양한 다중모달 데이터(예: 분자 구조, 질병 기술, 시험 문서)를 일관된 자연어 형식으로 통합하여 일관된 표현 학습을 가능하게 하기 위해.
• 희소 혼합 전문가(SMoE) 프레임워크를 통해 다양한 모달리티 간 유사 정보 패턴을 식별하고 추출하여 표현 학습을 향상시키기 위해.
• 모달리티에 특화된 표현을 동적으로 적응적으로 통합하기 위해 전문가 혼합(MoE) 모듈을 통해 핵심 정보에 자동으로 가중치를 할당하기 위해.
• 모달리티에 특화된 표현의 질을 향상시키기 위해 보조 손실을 도입하여 예측의 강인성과 성능을 향상시키기 위해.

제안 방법

• 대규모 언어 모델(LLM)을 사용하여 다중모달 입력(예: 분자, 질병 이름, 시험 문서)을 자연어 기술로 변환함으로써 통합 처리를 가능하게 한다.
• 노이즈에 강하고 통합된 인코더를 트랜스포머 기반으로 구현하여 언어로 변환된 모달리티에서 표현을 추출함으로써 모달리티 고유의 특성을 유지한다.
• 동적으로 라우팅된 전문가를 사용하여 희소 혼합 전문가(SMoE) 프레임워크를 통해 다양한 모달리티 간의 공통 정보 패턴을 식별하고 추출한다.
• 두 번째 MoE 모듈을 사용하여 다양한 모달리티에서 유래한 표현을 동적으로 통합함으로써, 입력에 따라 중요도에 따라 가중치를 다르게 할당할 수 있도록 한다.
• 훈련 중에 모달리티에 특화된 표현의 질과 구분 능력을 향상시키기 위해 보조 손실을 도입한다.
• MoE의 계층적 구조를 활용하여 효율적이고 조건부 계산을 가능하게 하고 전문가 사용의 부정확성을 줄인다.

실험 결과

연구 질문

• RQ1 다중모달 임상 시험 데이터를 자연어 기술로 변환하는 것이 다양한 데이터 형식 간 효과적인 통합 표현 학습을 가능하게 하는가?
• RQ2 희소 혼합 전문가(SMoE) 프레임워크가 약물 및 질병 기술에 언급된 증상과 같은 다양한 모달리티 간의 유사 정보 패턴을 효과적으로 식별하고 추출할 수 있는가?
• RQ3 모달리티 표현의 동적 전문가 기반 통합 방식이 고정 또는 어텐션 기반 융합 방식보다 예측 성능을 향상시키는가?
• RQ4 제안된 방법이 모든 세 가지 임상 시험 단계(I, II, III)에서 일관된 성능 향상을 보이며 효과적으로 일반화되는가?
• RQ5 보조 손실이 모달리티에 특화된 표현의 질을 향상시키고 전체 예측 정확도를 향상시키는 데 기여하는 방식은 무엇인가?

주요 결과

• LIFTED는 모든 세 가지 임상 시험 단계(I, II, III)에서 기존 최고 성능 모델을 뛰어넘는 결과를 보였다.
• LLM가 생성한 자연어 기술 기반의 기술은 모달리티에 특화된 인코더 설계 없이도 이질적인 데이터 모달리티를 효과적으로 통합한다.
• 희소 혼합 전문가 프레임워크는 다양한 모달리티 간의 공통 정보 패턴을 성공적으로 식별하고 활용하여 표현 일관성과 모델 일반화 능력을 향상시켰다.
• MoE를 통한 동적 표현 통합은 각 샘플에 따라 더 유용한 모달리티에 더 높은 가중치를 자동으로 할당함으로써 예측 정확도를 향상시켰다.
• 보조 손실은 모달리티에 특화된 표현의 질을 향상시키는 데 기여하였으며, 이는 전체 성능 향상으로 이어졌다.
• 모델는 강력한 강인성과 확장성을 보였으며, 전체 아키텍처를 재학습하지 않고도 새로운 모달리티로의 확장 가능성이 있다.