[논문 리뷰] Multimodal Attention-based Deep Learning for Alzheimer's Disease Diagnosis

Michal Golovanevsky, Carsten Eickhoff외 1명|arXiv (Cornell University)|2022. 06. 17.

Machine Learning in Healthcare참고 문헌 32인용 수 130

한 줄 요약

이 논문은 뇌경색, 유전자(SNP), 구조적 임상 데이터를 MRI와 함께 통합하여 알츠하이머병(AD) 및 경도 인지 장애(MCI) 진단을 위한 다중모달 딥러닝 프레임워크인 MADDi를 제안한다. 자기주의 주의와 다중모달 주의 메커니즘을 활용함으로써 MADDi는 삼중 분류에서 96.88%의 테스트 정확도를 달성하였으며, 임상 데이터가 모델 성능에 결정적인 역할을 하며, 주의 메커니즘이 특징 연결보다 다중모달 표현 학습을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

Alzheimer's Disease (AD) is the most common neurodegenerative disorder with one of the most complex pathogeneses, making effective and clinically actionable decision support difficult. The objective of this study was to develop a novel multimodal deep learning framework to aid medical professionals in AD diagnosis. We present a Multimodal Alzheimer's Disease Diagnosis framework (MADDi) to accurately detect the presence of AD and mild cognitive impairment (MCI) from imaging, genetic, and clinical data. MADDi is novel in that we use cross-modal attention, which captures interactions between modalities - a method not previously explored in this domain. We perform multi-class classification, a challenging task considering the strong similarities between MCI and AD. We compare with previous state-of-the-art models, evaluate the importance of attention, and examine the contribution of each modality to the model's performance. MADDi classifies MCI, AD, and controls with 96.88% accuracy on a held-out test set. When examining the contribution of different attention schemes, we found that the combination of cross-modal attention with self-attention performed the best, and no attention layers in the model performed the worst, with a 7.9% difference in F1-Scores. Our experiments underlined the importance of structured clinical data to help machine learning models contextualize and interpret the remaining modalities. Extensive ablation studies showed that any multimodal mixture of input features without access to structured clinical information suffered marked performance losses. This study demonstrates the merit of combining multiple input modalities via cross-modal attention to deliver highly accurate AD diagnostic decision support.

연구 동기 및 목표

• 다양한 데이터 소스를 통합함으로써 알츠하이머병(AD) 및 경도 인지 장애(MCI) 진단 정확도를 향상시키는 다중모달 딥러닝 프레임워크를 개발하기 위해.
• 기존의 다중모달 모델이 교차모달 상호작용을 모델링하지 않고 단순히 특징을 연결하는 데 한계가 있다는 문제를 해결하기 위해.
• 영상, 유전자, 임상 데이터 각각의 모odal이 전체 진단 성능에 기여하는 비중을 조사하기 위해.
• 주의 메커니즘, 특히 다중모달 주의가 다중모달 AD 분류에서 모델 성능에 미치는 영향을 평가하기 위해.
• 구조적 임상 데이터가 영상 및 유전자 특징의 해석을 위한 맥락화에 핵심적인 역할을 한다는 것을 입증하기 위해.

제안 방법

• MADDi는 MRI, SNP, 구조적 임상 데이터를 각각 모odal별 신경망 백본을 통해 처리하는 다중모달 딥러닝 아키텍처를 사용한다.
• 모델은 각 모달 내에서 관련 패턴에 집중할 수 있도록, 특징을 정밀하게 다듬기 위해 자기주의 주의를 적용한다.
• 교차모달 주의를 사용하여 서로 다른 모달 간의 상호작용을 명시적으로 모델링함으로써, 네트워크가 공유 표현을 학습할 수 있도록 한다.
• 모든 모달의 특징은 주의 기반 연결을 통해 융합되어, 분류 과정에서 각 모달의 중요도를 동적으로 가중할 수 있도록 한다.
• 모델은 세 그룹으로의 다중분류를 수행한다: 대조군(CN), 경도 인지 장애(MCI), 알츠하이머병(AD).
• 정확도에 대한 주의 메커니즘과 개별 모달의 영향을 평가하기 위해 탈락 실험을 실시하였으며, 안정성을 확보하기 위해 다섯 번의 랜덤 모델 초기화를 사용하였다.

실험 결과

연구 질문

• RQ1 단순한 특징 연결과 비교할 때, 교차모달 주의는 알츠하이머병 진단의 다중모달 분류 성능을 어떻게 향상시키는가?
• RQ2 영상, 유전자, 임상 데이터 각각의 상대적 기여도는 다중모달 딥러닝 모델의 진단 정확도에 어떤 영향을 미치는가?
• RQ3 구조적 임상 데이터의 포함 여부가 영상 및 유전자 데이터와 함께 사용될 경우 성능 향상에 뚜렷한 기여를 하는가?
• RQ4 자기주의 주의와 교차모달 주의와 같은 다양한 주의 메커니즘이 MCI, AD, 대조군을 구분하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ5 임상 데이터가 없는 경우 다중모달 AD 진단 프레임워크의 성능이 얼마나 떨어지는가?

주요 결과

• MADDi는 다섯 번의 랜덤 모델 초기화 동안 96.88%의 테스트 정확도를 달성하여, 다중모달 삼중 분류 AD 진단 분야에서 새로운 최고 기록을 수립하였다.
• 교차모달 주의와 자기주의 주의의 조합이 가장 높은 성능을 보였으며, 주의 레이어가 없는 모델 대비 F1 점수에서 7.9% 향상되었다.
• 임상 모달이 모델 성능에 가장 크게 기여하였으며, 임상 데이터가 없는 모델은 성능이著명하게 떨어졌다.
• 단독으로 사용할 경우 영상 데이터는 가장 높은 단일모달 정확도(92.28%)를 기록했지만, 다중모달 학습을 통해 임상 및 유전자 데이터를 추가함으로써 단일모달 기준선을 크게 초월하였다.
• 탈락 실험 결과, 구조적 임상 데이터에 접근할 수 없는 모델은 상당히 열악한 성능을 보였으며, 이는 임상 데이터가 맥락화에 핵심적인 역할을 한다는 것을 확인시켰다.
• 교차모달 주의의 사용은 모달 간에 더 풍부하고 상호의존적인 표현을 학습할 수 있도록 하여 일반화 능력과 진단의 견고성을 향상시켰다.