[논문 리뷰] Highly Accurate FMRI ADHD Classification using time distributed multi modal 3D CNNs

Christopher A. Sims|arXiv (Cornell University)|2022. 05. 24.

CCD and CMOS Imaging Sensors인용 수 5

한 줄 요약

이 논문은 fMRI 기반 ADHD 분류에서 높은 정확도를 달성하기 위해 시간 분산 다중 모odal 3D-CNN와 3D-GAN 증강 MRI 데이터를 제안한다. fMRI 시간 시리즈 데이터와 3D-StyleGAN2 생성기로부터 유도된 합성 3D MRI 영상의 통합을 통해 ADHD-200 데이터셋에서 99.69%의 정확도를 달성하였으며, 단일 모odal 및 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

This work proposes an algorithm for fMRI data analysis for the classification of ADHD disorders. There have been several breakthroughs in the analysis of fMRI via 3D convolutional neural networks (CNNs). With these new techniques it is possible to preserve the 3D spatial data of fMRI data. Additionally there have been recent advances in the use of 3D generative adversarial neural networks (GANs) for the generation of normal MRI data. This work utilizes multi modal 3D CNNs with data augmentation from 3D GAN for ADHD prediction from fMRI. By leveraging a 3D-GAN it would be possible to use deepfake data to enhance the accuracy of 3D CNN classification of brain disorders. A comparison will be made between a time distributed single modal 3D CNN model for classification and the modified multi modal model with MRI data as well.

연구 동기 및 목표

• fMRI 시간 시리즈 데이터와 구조적 MRI를 융합하는 다중 모달 3D-CNN을 활용하여 fMRI 기반 ADHD 분류 정확도를 향상시키기.
• fMRI 기반 ADHD 진단에서의 데이터 부족 문제를 해결하기 위해 3D-GAN을 활용해 고해상도 합성 MRI 데이터를 생성하여 데이터 증강을 수행하기.
• 개별 환자에 대한 MRI가 아닌 일반적인 뇌 해부학적 정보만으로도 3D-CNN 성능 향상이 가능한지 조사하기.
• 재귀 신경망 아키텍처(GRU 대비 LSTM)가 fMRI 데이터의 시간적 특성 모델링에 ADHD 분류 성능에 미치는 영향 평가하기.
• Transformer 기반 아키텍처가 전체 해상도 fMRI 데이터를 처리하고 모델의 해석 가능성 향상에 기여할 수 있는지 탐색하기.

제안 방법

• 시간 분산 3D-CNN 아키텍처를 사용하여 fMRI 시간 시리즈 데이터를 처리하고, 볼륨 간의 공간-시간적 구조를 유지한다.
• 원본 3D fMRI 데이터와 3D-GAN으로 생성된 MRI 영상의 다중 모달 입력을 조합하며, GAN은 실제 MRI 데이터에 대해 미세조정되어 현실적인 합성 뇌 영상을 생성한다.
• 3D-StyleGAN2 모델은 매핑 네트워크와 스타일 조절을 통해 생성된 영상의 잡음 요소를 줄이며 고해상도 3D MRI 볼륨을 생성한다.
• 모델은 fMRI 데이터의 시간적 의존성을 모델링하기 위해 GRU 기반의 재귀층을 활용하여 표준 3D-CNN 및 LSTM보다 성능을 향상시킨다.
• 생성된 MRI 출력의 현실성과 다양성을 확보하기 위해 인지 유사도와 기울기 정규화 기반의 손실 함수를 사용하여 3D-GAN을 훈련시킨다.
• 학습 중 메모리 오류를 방지하기 위해 입력 데이터를 저해상도로 내림샘플링하며, 향후 작업으로는 트랜스포머를 활용한 전체 해상도 처리를 제안한다.

실험 결과

연구 질문

• RQ1 3D-GAN으로 생성된 MRI 데이터는 fMRI 기반 3D-CNN 기반 ADHD 분류 정확도를 뚜렷이 향상시킬 수 있는가?
• RQ2 개별 환자에 대한 MRI가 아닌 합성 MRI로부터 유도된 일반적인 뇌 해부학적 정보만으로도 ADHD 분류에서 보다 우수한 일반화 성능 달성 가능한가?
• RQ3 GRU 및 LSTM과 같은 재귀 아키텍처는 fMRI 데이터의 시간적 동역학을 모델링하는 데 있어 ADHD 진단 성능에 어떻게 영향을 미치는가?
• RQ4 fMRI와 합성 MRI의 다중 모달 3D-CNN 융합은 단일 모달 fMRI 전용 모델보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ5 Transformer 기반 아키텍처는 전체 해상도 fMRI 처리를 가능하게 하고 ADHD 분류에서 모델의 해석 가능성 향상에 기여할 수 있는가?

주요 결과

• 다중 모달 3D-GRU 모델은 ADHD-200 데이터셋에서 99.69%의 정확도를 달성하였으며, 이는 이전 최고 성능 방법(66.04%의 SM-3DLSTM)을 뚜렷이 뛰어넘었다.
• 다중 모달 3D-LSTM 모델은 97.87%의 정확도를 기록하여 fMRI와 합성 MRI 데이터의 융합이 효과적임을 입증하였다.
• 시간 분산 단일 모달 3D-GRU 모델은 75.55%의 정확도를 기록하였으며, 이는 시간적 모델링이 표준 3D-CNN보다 성능 향상에 기여함을 시사한다.
• 3D-GAN으로 생성된 MRI 데이터의 활용 덕분에 개별 환자 MRI 없이도 높은 정확도를 달성하였으며, 이는 일반적인 뇌 해부학적 정보만으로도 효과적인 분류가 가능함을 의미한다.
• 모델 성능은 입력 해상도에 민감하게 반응하였으며, 메모리 문제를 방지하기 위해 내림샘플링이 필요함을 시사하여, 트랜스포머와 같은 보다 효율적인 아키텍처의 필요성을 암시한다.
• 높은 정확도는 설명 가능한 AI나 세그멘테이션 헤드를 통합할 잠재력이 크며, ADHD 예측에 가장 기여하는 뇌 영역을 식별하는 데 기여할 수 있음을 시사한다.