[논문 리뷰] Cross-Modal Transformer GAN: A Brain Structure-Function Deep Fusing Framework for Alzheimer's Disease

Junren Pan, Shuqiang Wang|arXiv (Cornell University)|2022. 06. 20.

Functional Brain Connectivity Studies인용 수 6

한 줄 요약

이 논문은 복합주의 전환기 생성적 적대 신경망(CT-GAN)을 제안하여, 기저 상태 fMRI(기능적)와 DTI(해부학적) 뇌 영상 데이터를 이중주의 주의 메커니즘을 사용해 융합함으로써 상보적인 뇌 연결 기능을 추출한다. 이 모델은 알츠하이머병(AD) 대 비정상 대조군(NC) 분류에서 최신 기술 수준의 정확도(94.44%)를 달성하며, 질병 진행 단계에 따라 뚜렷한 연결성 변화를 보이는 알츠하이머병 관련 뇌 연결망, 예를 들어 해마 및 전두엽 후부를 식별한다.

ABSTRACT

Cross-modal fusion of different types of neuroimaging data has shown great promise for predicting the progression of Alzheimer's Disease(AD). However, most existing methods applied in neuroimaging can not efficiently fuse the functional and structural information from multi-modal neuroimages. In this work, a novel cross-modal transformer generative adversarial network(CT-GAN) is proposed to fuse functional information contained in resting-state functional magnetic resonance imaging (rs-fMRI) and structural information contained in Diffusion Tensor Imaging (DTI). The developed bi-attention mechanism can match functional information to structural information efficiently and maximize the capability of extracting complementary information from rs-fMRI and DTI. By capturing the deep complementary information between structural features and functional features, the proposed CT-GAN can detect the AD-related brain connectivity, which could be used as a bio-marker of AD. Experimental results show that the proposed model can not only improve classification performance but also detect the AD-related brain connectivity effectively.

연구 동기 및 목표

• 알츠하이머병(AD)에서 상보적인 해부-기능적 관계를 포착하는 데에 단일 모odal 뇌 영상의 한계를 해결하기 위해.
• 이질적인 rs-fMRI와 DTI 데이터를 효과적으로 융합하여 개선된 AD 예측을 위한 딥 퓌전 프레임워크를 개발하기 위해.
• 다중모달 융합을 통해 생물학적으로 의미 있는 알츠하이머병 관련 뇌 연결 패턴을 식별하기 위해.
• 생성적 적대 신경망과 트랜스포머를 활용하여 깊은 아키텍처가 필요 없이도 특징 표현을 향상시키기 위해.

제안 방법

• 크로스모달 트랜스포머 생성기(Generator)는 CNN 및 GCN 인코더를 사용해 기능적(rs-fMRI) 및 해부학적(DTI) 특징을 융합한다.
• 이중주의 주의 모듈(F2S 및 S2F)은 기능적 및 해부학적 표현 간의 크로스모달 특징 매칭과 상호 보완적 개선을 가능하게 한다.
• 생성적 적대 신경망 학습 전략은 깊은 네트워크에 의존도를 낮추고 특징 학습 및 모델 일반화를 향상시킨다.
• 디코더는 융합된 특징에서 예측된 해부학적 및 기능적 연결 행렬을 재구성한다.
• 판별기(Discriminators)는 실제 연결 행렬과 생성된 연결 행렬을 구별함으로써 적대적 피드백을 통해 특징 품질을 향상시킨다.
• 모델는 Adam 옵timizer를 사용해 엔드 투 엔드로 학습되며, 학습률 0.001, 가중치 감쇠 0.01, 베타 값 (0.9, 0.99)을 사용한다.

실험 결과

연구 질문

• RQ1 이중주의 주의를 갖춘 크로스모달 트랜스포머가 rs-fMRI와 DTI 데이터를 효과적으로 융합하여 AD 분류 성능을 향상시킬 수 있는가?
• RQ2 제안된 CT-GAN 모델은 다중모달 데이터에서 알츠하이머병 관련 뇌 연결 패턴을 어떻게 식별하는가?
• RQ3 적대적 학습을 통한 기능적 및 해부학적 연결성 융합이 단일 모달 또는 선형 융합 방법에 비해 예측 성능을 향상시키는가?
• RQ4 다중모달 모델에 따르면 알츠하이머병 진행 과정에서 가장 뚜렷한 연결성 변화를 보이는 뇌 영역는 어디인가?
• RQ5 모델이 학습한 연결 특징는 임상적으로 의미 있는 알츠하이머병 생체지표로 해석될 수 있는가?

주요 결과

• CT-GAN은 알츠하이머병(AD) 대 정상 대조군(NC) 분류에서 94.44%의 정확도, 93.33%의 민감도, 95.24%의 특이도를 기록하여 기존 방법을 초월한다.
• LMCI 대 NC 분류에서는 93.55%의 정확도, 90.0%의 민감도, 95.24%의 특이도를 달성하여 초기 단계 진단 능력이 뛰어나다는 것을 보여준다.
• EMCI 대 NC 분류에서는 92.68%의 정확도, 90.48%의 민감도, 95.0%의 특이도를 기록하여 경도 인지장애를 탐지하는 데 있어 뛰어난 강건성을 보였다.
• 연결성 변화가 뚜렷한 상위 8개의 알츠하이머병 관련 ROI는 해마(좌우), 쿠네우스, 상부 편측 피질, 전두엽 후부로, 임상 문헌과 일치한다.
• 모델는 질병 진행 단계에 따라 다중모달 연결 변화를 성공적으로 시각화하였으며, 뇌간 및 편측 영역의 연결성 감소와 다른 영역의 보상적 활성 증가를 드러냈다.
• 이중주의 주의 메커니즘이 비선형적이고 상보적인 기능적 및 해부학적 뇌 네트워크 간 관계를 효과적으로 포착하여 더 정확한 생체지표 발견을 가능하게 하였다.