[논문 리뷰] 4D Spatio-Temporal Deep Learning with 4D fMRI Data for Autism Spectrum Disorder Classification

Marcel Bengs, Nils Gessert외 1명|arXiv (Cornell University)|2019. 07. 01.

Autism Spectrum Disorder Research인용 수 6

한 줄 요약

이 논문은 4D fMRI 데이터를 사용하여 자폐성 분류를 향상시키기 위한 4D 시공간 딥러닝 프레임워크를 제안한다. 4D 컨볼루션 신경망(CNN4D)과 컨볼루션-게이팅 리커런트 유닛(convGRU-CNN3D)을 활용하여 공간적 및 시간적 뇌 활동을 공동으로 모델링하며, F1-스코어 0.71을 달성하여 이전 방법들보다 뛰어나다. 이전 방법들은 시간적 및 공간적 데이터를 별도로 또는 암묵적으로 처리했지만, 본 논문은 이를 통합적으로 다룬다.

ABSTRACT

Autism spectrum disorder (ASD) is associated with behavioral and communication problems. Often, functional magnetic resonance imaging (fMRI) is used to detect and characterize brain changes related to the disorder. Recently, machine learning methods have been employed to reveal new patterns by trying to classify ASD from spatio-temporal fMRI images. Typically, these methods have either focused on temporal or spatial information processing. Instead, we propose a 4D spatio-temporal deep learning approach for ASD classification where we jointly learn from spatial and temporal data. We employ 4D convolutional neural networks and convolutional-recurrent models which outperform a previous approach with an F1-score of 0.71 compared to an F1-score of 0.65

연구 동기 및 목표

• 4D fMRI 데이터의 공간적 및 시간적 패턴을 공동으로 모델링하여 ASD 분류 정확도를 향상시키기 위해.
• 이전 방법들이 시간적 및 공간적 정보를 별도로 또는 암묵적으로 처리하는 데서 비롯하는 한계를 극복하기 위해.
• 특히 4D CNN과 convGRU-CNN3D를 포함한 4D 딥러닝 아키텍처의 효과성을 fMRI 데이터를 이용한 ASD 분류에 평가하기 위해.
• 수동으로 생성된 시간 통계(평균/표준편차) 또는 시간 채널을 스택한 전통적인 3D CNN과 비교하여 종단간 4D 학습 접근법의 성능을 평가하기 위해.
• 원시 4D fMRI 시퀀스에서 명시적인 시공간 특징 학습이 분류 성능 향상에 기여함을 입증하기 위해.

제안 방법

• ABIDE 데이터셋에서 확보한 4D fMRI 데이터를 사용하며, 슬라이스 타이밍 보정, 움직임 보정, 강도 정규화를 수행한 후 32×32×32×176로 리샘플링함.
• 모든 4D fMRI 볼륨에서 학습, 검증, 테스트를 위해 15개의 시간 포인트 시퀀스를 추출함.
• 세 개의 DenseNet 블록(각 5층)을 포함한 DenseNet 기반 3D CNN 백본을 사용하며, 이후 글로벌 평균 풀링과 이원 분류 히든 레이어를 적용함.
• 네 가지 아키텍처를 비교함: (1) CNN3D-TC(시간 스텝을 채널 차원에 스택), (2) CNN3D-MS(평균 및 표준편차 볼륨 스택), (3) convGRU-CNN3D(3D CNN 이전에 convGRU를 통해 시간 처리), (4) CNN4D(공간-시간 동시 학습을 위한 등방성 4D 컨볼루션).
• 모든 모델을 Adam 옵timizer를 사용해 500 에포크 동안 엔드 투 엔드로 학습하며 배치 크기 10, 검증 F1-스코어 기반 조기 정지 전략 적용.
• 모델 평가 시 테스트 및 검증 세트에 대해 슬라이딩 윈도우 추론을 수행하고, 각 주제당 모든 컷에 대한 예측을 평균화함.

실험 결과

연구 질문

• RQ1 원시 fMRI 시퀀스에서 명시적인 4D 시공간 학습이 시간과 공간을 별도로 처리하는 방법보다 ASD 분류 성능을 향상시킬 수 있는가?
• RQ2 시간 통계(평균/표준편차) 또는 스택된 시간 채널을 사용하는 3D CNN과 비교해 4D 컨볼루션 신경망은 어떤가?
• RQ3 컨볼루션 게이팅을 갖춘 순환 모듈(convGRU)을 통합함으로써 fMRI 기반 ASD 분류에서 시간적 특징 학습이 향상되는가?
• RQ4 시간 특징을 추출한 후 공간 처리를 수행하는 이중 단계 접근법보다 종단간 4D 학습이 더 효과적인가?
• RQ5 동일한 데이터셋에서 4D 딥러닝 모델은 이전 최고 성능 방법 대비 F1-스코어와 정확도를 얼마나 향상시키는가?

주요 결과

• convGRU-CNN3D 모델이 F1-스코어 0.71을 기록하며, 이는 이전 최고 성능 방법(F1 = 0.65)을 뛰어넘는 성과를 보였다.
• 4D CNN(CNN4D)는 F1-스코어 0.68을 달성하여, 시간과 공간을 별도로 처리하는 방법보다 공동 시공간 학습이 분류 성능 향상에 기여함을 입증하였다.
• CNN3D-MS 모델(평균 및 표준편차 볼륨 스택)은 F1-스코어 0.65를 기록하였으며, 이는 단순히 시간 스택된 3D CNN(CNN3D-TC, F1 = 0.61)보다 성능 향상이 있음을 확인하였다.
• 최고 성능을 보인 모델(convGRU-CNN3D)의 정확도는 0.67로, 도전적인 ASD fMRI 데이터셋에서 중간 수준이지만 의미 있는 분류 성능을 나타내었다.
• 결과적으로, 특히 convGRU와 같은 순환 메커니즘을 통해 명시적인 시간 역동성 학습을 수행하는 모델이 암묵적인 시간 처리보다 더 우수한 특징 표현을 제공함을 확인하였다.
• 본 연구는 4D 딥러닝 모델이 ASD 분류에 실현 가능하고 효과적이며, 다른 4D fMRI 분석 과제로의 광범위한 적용 가능성을 시사한다.