[논문 리뷰] Multimodal Neurodegenerative Disease Subtyping Explained by ChatGPT

Diego Machado Reyes, Hanqing Chao외 3명|arXiv (Cornell University)|2024. 01. 31.

Artificial Intelligence in Healthcare and EducationMedicine인용 수 3

한 줄 요약

이 논문은 초기(전구증상기) 단계에서 알츠하이머병을 분류하기 위해 기초 영상, 유전, 임상 데이터를 통합하는 다중모달 딥러닝 프레임워크인 Tri-COAT을 제안한다. 이는 단일 모odal 모델보다 향상된 분류 성능을 달성하며, ChatGPT와 같은 대규모 언어모델을 활용해 교차 모달 특징 간 연관성에 대한 임상적으로 해석 가능한 설명을 생성한다. 이를 통해 뇌 위축, 유전적 위험, 인지 기능 저하 간 생물학적으로 타당한 연관성이 드러난다.

ABSTRACT

Alzheimer's disease (AD) is the most prevalent neurodegenerative disease; yet its currently available treatments are limited to stopping disease progression. Moreover, effectiveness of these treatments is not guaranteed due to the heterogenetiy of the disease. Therefore, it is essential to be able to identify the disease subtypes at a very early stage. Current data driven approaches are able to classify the subtypes at later stages of AD or related disorders, but struggle when predicting at the asymptomatic or prodromal stage. Moreover, most existing models either lack explainability behind the classification or only use a single modality for the assessment, limiting scope of its analysis. Thus, we propose a multimodal framework that uses early-stage indicators such as imaging, genetics and clinical assessments to classify AD patients into subtypes at early stages. Similarly, we build prompts and use large language models, such as ChatGPT, to interpret the findings of our model. In our framework, we propose a tri-modal co-attention mechanism (Tri-COAT) to explicitly learn the cross-modal feature associations. Our proposed model outperforms baseline models and provides insight into key cross-modal feature associations supported by known biological mechanisms.

연구 동기 및 목표

• 질병 이질성과 초기 생물학적 지표의 부족으로 인해 초기 알츠하이머병 분류에 도전하는 문제를 해결한다.
• 단일 모달 모델과 설명 불가능한 딥러닝 접근법의 한계를 극복하여 전구증상기 알츠하이머병의 분류 성능을 향상시킨다.
• 영상, 유전, 임상 데이터의 조기 단계 지표를 활용해 다중모달 융합 프레임워크를 개발하여 분류 정확도를 향상시킨다.
• 대규모 언어모델(예: ChatGPT)을 통합해 특징 수준의 연관성에 대한 임상적으로 의미 있는 설명을 생성함으로써 모델의 해석 가능성을 향상시킨다.
• 설명 가능하고 다중모달인 분류 기반의 개인 맞춤 의료 기반을 마련한다.

제안 방법

• 영상, 유전, 임상 데이터 간의 교차 모달 특징 상호작용을 명시적으로 모델링하기 위해 삼중 모달 공액 주의 메커니즘(Tri-COAT)을 제안한다.
• 장기적 추적 관찰 없이도 조기 단계의 기초 데이터를 사용하여 전구증상기 또는 무증상 단계에서의 분류를 위해 모델을 훈련시킨다.
• 모델 예측에 기여하는 주요 특징을 식별하기 위해 기울기 기반 할당 방법(예: 통합 기울기)을 적용한다.
• 대규모 언어모델(예: ChatGPT, Bard)을 위해 구조화된 프롬프트를 설계하여 상위 10개 할당 결과를 해석한다. 이에는 특징 이름, 환자 값, 인구 평균 대비 편차가 포함된다.
• 각 주요 특징이 알려진 생물학적 메커니즘과 연결된 자연어 보고서를 생성한다(예: 오른쪽 편도핵 위축이 빠른 알츠하이머병 진행과 관련 있음).
• 임상 문헌과의 비교를 통해 LLM이 생성한 설명의 정확성과 생물학적 타당성을 평가하며, 동시에 잠재적인 환각(허구적 진술) 가능성도 인지한다.

Figure 1: The three main multimodal fusion strategies, early, intermediate and late fusion, for deep learning methods.

실험 결과

연구 질문

• RQ1 영상, 유전, 임상 평가의 기초 데이터(종단적 추적 없음)만을 사용해 다중모달 딥러닝 모델이 효과적으로 알츠하이머병을 분류할 수 있는가?
• RQ2 모델이 식별한 교차 모달 특징 연관성이 알츠하이머병의 알려진 생물학적 메커니즘과 얼마나 일치하는가?
• RQ3 ChatGPT와 같은 대규모 언어모델이 모델 예측 및 특징 할당에 대해 정확하고 임상적으로 관련성이 있는 설명을 얼마나 잘 생성할 수 있는가?
• RQ4 LLM이 생성한 해석은 신경퇴행성 질환 분류에서 다중모달 딥러닝 모델의 투명성과 신뢰성 향상에 기여할 수 있는가?
• RQ5 모델이 이질적 또는 보호적 특징(예: 알츠하이머병에서 일반적으로 위축되는 영역에서 높은 케라미드 두께)을 탐지하고 해석할 수 있는가? 이는 알츠하이머병에서 알려진 보상 메커니즘을 반영하는가?

주요 결과

• Tri-COAT 모델은 기초 다중모달 데이터만을 사용해도 기존 모델보다 알츠하이머병 분류 성능이 뛰어나며, 분류 성능 향상을 입증했다.
• 모델은 뇌 위축, 유전적 위험, 인지 기능 저하 간의 생물학적으로 타당한 연관성을 반영하는 핵심 교차 모달 생물학적 지표 네트워크를 식별했다. 예를 들어 오른쪽 편도핵 부피 감소는 빠른 질환 진행과 연관되어 있으며, 이는 알려진 신경해부학적 및 병리학적 발견과 일치한다.
• 대규모 언어모델(ChatGPT 및 Bard)이 생성한 설명은 임상 문헌과 일치했으며, 예를 들어 오른쪽 케라미드에서 높은 케라미드 두께를 보상 메커니즘으로 해석하는 데 성공했다.
• LLM이 생성한 보고서는 주요 특징에 대해 생물학적으로 타당한 해석을 제공했으며, 뇌 영역의 기능적 역할과 인구 평균 대비 비정상 측정치의 의미를 포함했다.
• 모델은 이질적인 패atters(예: 알츠하이머병에서 일반적으로 위축되는 영역에서 평균 이상의 케라미드 두께)를 탐지하고 해석하여 보호적 또는 보상적 특징에 대한 민감도를 입증했다.
• 다소 유망한 결과에도 불구하고 LLM은 가끔 환각되거나 추측적인 진술을 생성했으며, 이는 임상 현장 적용에 있어 핵심적인 한계를 드러냈다.

Figure 2: Illustration of the proposed framework for AD subtyping, consisting of two main sections: (a) single modality encoding and (b) tri-modal attention and joint encoding.