[논문 리뷰] Attention module improves both performance and interpretability of 4D fMRI decoding neural network

Zhoufan Jiang, Yanming Wang외 7명|arXiv (Cornell University)|2021. 10. 03.

Functional Brain Connectivity Studies참고 문헌 26인용 수 4

한 줄 요약

이 논문은 뇌 기능 영상(fMRI) 데이터에서 뇌 상태를 복원하기 위해 자기주의 주의 모듈을 갖춘 4차원 합성곱 신경망을 제안하며, HCP 작업 벤치마크에서 97.4%의 정확도를 달성한다. 주의 메커니즘은 네트워크 깊이에 따라 작업 특이적인 뇌 영역을 계층적으로 강조함으로써 모델 성능 향상과 해석 가능성 향상을 동시에 달성한다.

ABSTRACT

Decoding brain cognitive states from neuroimaging signals is an important topic in neuroscience. In recent years, deep neural networks (DNNs) have been recruited for multiple brain state decoding and achieved good performance. However, the open question of how to interpret the DNN black box remains unanswered. Capitalizing on advances in machine learning, we integrated attention modules into brain decoders to facilitate an in-depth interpretation of DNN channels. A 4D convolution operation was also included to extract temporo-spatial interaction within the fMRI signal. The experiments showed that the proposed model obtains a very high accuracy (97.4%) and outperforms previous researches on the 7 different task benchmarks from the Human Connectome Project (HCP) dataset. The visualization analysis further illustrated the hierarchical emergence of task-specific masks with depth. Finally, the model was retrained to regress individual traits within the HCP and to classify viewing images from the BOLD5000 dataset, respectively. Transfer learning also achieves good performance. A further visualization analysis shows that, after transfer learning, low-level attention masks remained similar to the source domain, whereas high-level attention masks changed adaptively. In conclusion, the proposed 4D model with attention module performed well and facilitated interpretation of DNNs, which is helpful for subsequent research.

연구 동기 및 목표

• fMRI 복원에 사용되는 딥 네트워크(DNN) 모델의 해석 가능성 문제를 해결하기 위해.
• 인간 연결성 프로젝트(HCP)와 같은 복잡하고 다중 작업 fMRI 데이터셋에서의 복원 성능 향상하기 위해.
• 주의 메커니즘을 통해 DNN 특징의 계층적 해석을 가능하게 하여 작업 특이적인 뇌 활성화 패턴을 드러내기 위해.
• BOLD5000 데이터셋을 활용해 개인적 특성과 이미지 분류를 위한 전이 학습 능력을 평가하기 위해.

제안 방법

• 4D 합성곱 신경망을 사용하여 fMRI 데이터의 시공간적 동역학을 모델링하고, 시간과 3차원 뇌 부피 간의 상호작용을 포착한다.
• 특징 맵의 채널별 중요도 가중치를 학습하기 위해 네트워크 아키텍처에 자기주의 주의 모듈을 통합한다.
• 주의 메커니즘은 추론 과정에서 관련 있는 뇌 영역과 기능적 네트워크에 동적으로 초점을 맞출 수 있도록 한다.
• 모델은 HCP 작업 fMRI 데이터를 엔드 투 엔드로 훈련하여 다중 클래스 뇌 상태 복원을 수행한다.
• BOLD5000 데이터셋에서 개인적 특성 회귀 및 이미지 시청 분류 작업에 대해 전이 학습을 적용하여 모델을 미세조정한다.
• 층별로 시각화된 주의 맵은 저수준에서 고수준으로 갈수록 작업 특이적인 뇌 영역이 계층적으로 나타나는 과정을 드러낸다.

실험 결과

연구 질문

• RQ1 주의 메커니즘이 기존 DNN보다 4D fMRI 복원 모델의 성능 향상에 기여할 수 있는가?
• RQ2 주의 맵은 네트워크 깊이에 따라 어떻게 변화하며, 생물학적으로 타당한 계층적 뇌 활성화 패턴을 반영하는가?
• RQ3 전이 학습을 통해 새로운 작업으로의 일반화 능력은 어느 정도이며, 목표 도메인에서 주의 패턴은 어떻게 변화하는가?
• RQ4 주의 맵을 통해 복원 결정에 가장 기여하는 뇌 영역을 해석 가능한 방식으로 파악할 수 있는가?

주요 결과

• 제안된 모델은 인간 연결성 프로젝트(HCP) 데이터셋의 일곱 가지 다른 작업 벤치마크에서 테스트 정확도 97.4%를 달성하여 이전 방법들을 능가한다.
• 주의 시각화 결과는 작업 특이적인 뇌 영역이 계층적으로 나타나는 경향을 보이며, 초기 층은 감각 영역에 집중하고 깊이가 깊어질수록 고차원 연합 네트워크에 초점이 맞춰진다.
• BOLD5000 데이터셋에서 전이 학습을 수행한 후에도 모델은 높은 성능를 유지하며, 저수준 주의 맵은 원천 도메인 패턴을 유지하고 고수준 주의 맵은 새로운 자극에 적응한다.
• 주의 메커니즘은 DNN 특징의 의미 있는 해석을 가능하게 하여 모델의 투명성을 높이고 뇌과학 응용 분야에 적합하게 한다.