[논문 리뷰] Attend and Decode: 4D fMRI Task State Decoding Using Attention Models

Sam Nguyen, Brenda Ng외 2명|arXiv (Cornell University)|2020. 04. 10.

Functional Brain Connectivity Studies참고 문헌 20인용 수 6

한 줄 요약

이 논문은 3D 잔차 컨볼루션 네트워크를 통한 공간적 특징 추출과 다중 헤드 자기주의를 통한 시간적 모델링을 조합한 새로운 4차원 주의 메커니즘 기반 딥러닝 모델인 Brain Attend and Decode (BAnD)를 제안한다. BAnD는 HCP-YA 7작업 벤치마크에서 93.6%의 정확도를 달성했으며, 예측되지 않은 운동 작업에 대해 미세조정을 거친 후 94.1%의 정확도를 기록하여, 처음부터 학습한 모델보다 더 짧은 시간에 더 높은 성능을 보였다.

ABSTRACT

Functional magnetic resonance imaging (fMRI) is a neuroimaging modality that captures the blood oxygen level in a subject's brain while the subject either rests or performs a variety of functional tasks under different conditions. Given fMRI data, the problem of inferring the task, known as task state decoding, is challenging due to the high dimensionality (hundreds of million sampling points per datum) and complex spatio-temporal blood flow patterns inherent in the data. In this work, we propose to tackle the fMRI task state decoding problem by casting it as a 4D spatio-temporal classification problem. We present a novel architecture called Brain Attend and Decode (BAnD), that uses residual convolutional neural networks for spatial feature extraction and self-attention mechanisms for temporal modeling. We achieve significant performance gain compared to previous works on a 7-task benchmark from the large-scale Human Connectome Project-Young Adult (HCP-YA) dataset. We also investigate the transferability of BAnD's extracted features on unseen HCP tasks, either by freezing the spatial feature extraction layers and retraining the temporal model, or finetuning the entire model. The pre-trained features from BAnD are useful on similar tasks while finetuning them yields competitive results on unseen tasks/conditions.

연구 동기 및 목표

• 고차원적이고 복잡한 공간-시간 fMRI 데이터를 처리하는 데 있어 임상 작업 상태 복원의 과제를 해결하기 위해.
• 파라셀레이션에 의존하지 않고 4D fMRI 시퀀스에서 공간적 및 시간적 동역학을 효과적으로 포착할 수 있는 딥러닝 모델을 개발하기 위해.
• 학습된 특징들이 다양한 fMRI 작업과 조건 간에 얼마나 전이 가능한지 평가하기 위해.
• 주의 및 활성화 맵을 통해 분류에 핵심적인 영향을 미치는 뇌 영역과 시간 포인트를 식별함으로써 해석 가능성을 제공하기 위해.
• 원시 부피 데이터를 사용하여 확장 가능하고 종단 간 fMRI 복원을 가능하게 하기 위해.

제안 방법

• 모델은 각 3D fMRI 프레임에서 공간적 특징을 추출하기 위해 3D ResNet-18 기반 아키텍처를 사용한다.
• 임bedded된 3D 프레임 시퀀스에 다중 헤드 자기주의를 적용하여 시간적 의존성을 모델링한다.
• HCP-YA 데이터셋에서 7개 클래스 작업 분류를 위한 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시킨다.
• 해석 가능성을 확보하기 위해 Grad-CAM을 적용하여 각 작업에 대해 중요한 볼륨 원소를 강조하는 공간적 활성화 맵을 생성한다.
• 시간적 주의 가중치는 단일 주의 헤드를 가진 단순화된 BAnD++ 모델을 사용하여 키워드 시간 포인트를 식별하기 위해 시각화한다.
• 전이 학습은 공간적 특징을 고정하고 시간적 헤드만 재학습하거나, 새로운 작업에 대해 전체 모델을 미세조정함으로써 평가된다.

실험 결과

연구 질문

• RQ1 자기주의 메커니즘이 4D fMRI 데이터의 시간적 역학을 작업 상태 복원에 효과적으로 모델링할 수 있는가?
• RQ2 BAnD가 학습한 공간적 특징은 예측되지 않은 fMRI 작업에 얼마나 잘 일반화되는가?
• RQ3 분류 과정에서 모델이 주의를 기울이는 시간적 및 공간적 패턴은 무엇이며, 이는 신경생물학적으로 타당한가?
• RQ4 전체 모델을 미세조정하는 것이 새로운 작업에 대해 처음부터 학습하는 것보다 더 높은 성능을 내는가?
• RQ5 파라셀레이션 또는 수작업 특징 설계 없이도 모델이 높은 정확도를 달성할 수 있는가?

주요 결과

• BAnD는 HCP-YA 7작업 벤치마크에서 93.6%의 분류 정확도를 달성하여 이전 방법들을 크게 능가했다.
• 예측되지 않은 운동 작업으로 전이할 경우, 공간적 특징를 고정하고 시간적 헤드만 재학습하면 51.1%의 정확도를 기록했으며, 전체 모델을 미세조정한 후 94.1%로 향상되었다.
• 미세조정된 BAnD는 운동 작업에서 94.1%의 정확도를 달성했으며, 처음부터 학습한 모델(93.4%)과 유사한 성능를 보였지만 훨씬 짧은 훈련 시간을 소요했다.
• 모든 작업에서 fMRI 시퀀스의 7번째 프레임이 일관되게 가장 높은 주의 가중치를 할당받았는데, 이는 BOLD 반응의 지연성 때문일 가능성이 높다.
• Grad-CAM을 통해 생성된 공간적 활성화 맵은 손동작 작업의 경우 운동 피질, 도박 작업의 경우 스타티아 무를 특징적으로 강조했다.
• 모델이 학습한 특징는 특히 미세조정된 경우 강력한 전이 가능성을 보였으며, fMRI 동역학에 대한 강력하고 일반화 가능한 표현을 제공함을 시사했다.