[논문 리뷰] Interpretable LSTMs For Whole-Brain Neuroimaging Analyses

Armin W. Thomas, Hauke R. Heekeren외 2명|arXiv (Cornell University)|2018. 10. 23.

Functional Brain Connectivity Studies참고 문헌 1인용 수 13

한 줄 요약

이 논문은 전체 뇌 fMRI 데이터를 분석하기 위해 공간-시간적 의존성을 비트 볼륨 간에 모델링하는 해석 가능한 LSTMs를 사용하는 딥러닝 프레임워크 DLight를 제안한다. LRP(계층별 기여도 전파)를 통합함으로써 DLight는 신경과학자들이 뇌 활동 패턴과 인지 상태 간의 연결을 어떻게 모델이 맺는지 해석할 수 있도록 하며, 전통적인 방법보다 분류 정확도에서 뛰어나면서도 다양한 데이터 해상도에서 생물학적으로 타당한 뇌 영역을 탐지한다.

ABSTRACT

The analysis of neuroimaging data poses several strong challenges, in particular, due to its high dimensionality, its strong spatio-temporal correlation and the comparably small sample sizes of the respective datasets. To address these challenges, conventional decoding approaches such as the searchlight reduce the complexity of the decoding problem by considering local clusters of voxels only. Thereby, neglecting the distributed spatial patterns of brain activity underlying many cognitive states. In this work, we introduce the DLight framework, which overcomes these challenges by utilizing a long short-term memory unit (LSTM) based deep neural network architecture to analyze the spatial dependency structure of whole-brain fMRI data. In order to maintain interpretability of the neuroimaging data, we adapt the layer-wise relevance propagation (LRP) method. Thereby, we enable the neuroscientist user to study the learned association of the LSTM between the data and the cognitive state of the individual. We demonstrate the versatility of DLight by applying it to a large fMRI dataset of the Human Connectome Project. We show that the decoding performance of our method scales better with large datasets, and moreover outperforms conventional decoding approaches, while still detecting physiologically appropriate brain areas for the cognitive states classified. We also demonstrate that DLight is able to detect these areas on several levels of data granularity (i.e., group, subject, trial, time point).

연구 동기 및 목표

• 검색광선(searchlight)과 같은 전통적인 분류 방법의 한계를 해결하기 위해, 국소적 볼륨 클러스터에 집중하고 fMRI 데이터의 분산된 공간 패턴을 간과하는 데 초점을 맞춘다.
• 작은 표본 수를 가진 고차원적이고 공간-시간적으로 상관관계가 있는 fMRI 데이터에서 발생하는 과제를 극복한다.
• 전체 뇌 fMRI 분석에서 해석 가능성을 유지하는 딥러닝 프레임워크를 개발하여 신경과학적 통찰을 지원한다.
• 그룹, 주체, 시험, 시간 포인트 수준의 다양한 데이터 해상도 수준에서 인지 상태와 관련된 뇌 영역을 식별할 수 있도록 한다.
• 더 큰 데이터셋에서 효과적으로 스케일링되며, 탐지된 뇌 영역에서 생리학적으로 타당한 결과를 유지함을 입증한다.

제안 방법

• 전체 뇌 fMRI 데이터의 비트 볼륨과 시간 포인트 간의 공간-시간적 의존성을 모델링하기 위해 장기 단기 기억(LSTM) 네트워크를 사용한다.
• 입력 비트 볼륨에 대한 기여도 점수를 할당함으로써 LSTMs의 예측을 해석하기 위해 계층별 기여도 전파(LRP)를 적응 적용한다.
• 시간에 따른 뇌 활동 패턴의 시퀀스로 fMRI 데이터를 처리하여, LSTM이 장거리 시간 동적 특성을 포착할 수 있는 능력을 활용한다.
• DLight 프레임워크를 전체 뇌 fMRI 데이터에 적용하여, 인지 상태와 연결된 분산된 공간 패턴을 엔드 투 엔드로 학습할 수 있도록 한다.
• LRP를 사용하여 각 인지 상태에 대한 모델 예측에 기여한 뇌 영역이 가장 많은지를 시각화하는 샐런시 맵을 생성한다.
• 그룹 수준, 주체 수준, 시험 수준, 시간 포인트 수준 예측을 포함하여 다양한 데이터 해상도에서 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 LSTM 기반의 딥러닝 모델은 해석 가능성을 유지하면서 전체 뇌 fMRI 데이터로부터 인지 상태를 효과적으로 분류할 수 있는가?
• RQ2 DLight의 분류 성능는 다양한 데이터셋 크기에서 전통적인 검색광선 접근법과 비교해 볼 때 어떻게 다른가?
• RQ3 DLight는 특정 인지 상태와 관련된 생물학적으로 타당한 뇌 영역을 탐지하는가?
• RQ4 DLight는 개인 시험과 시간 포인트 수준을 포함한 다양한 데이터 해상도 수준에서 관련 뇌 영역을 식별할 수 있는가?
• RQ5 LRP의 통합이 신경영상 맥락에서 LSTMs의 예측을 얼마나 향상시켜 해석 가능성을 높이는가?

주요 결과

• DLight는 데이터셋 크기가 증가할수록 전통적인 분류 방법보다 분류 정확도에서 뛰어나며, 성능이 뛰어나다.
• 이 방법은 인지 상태와 관련된 생리학적으로 적절한 뇌 영역을 성공적으로 식별하여 생물학적 관련성을 입증한다.
• DLight는 그룹 수준, 주체 수준, 시험 수준, 시간 포인트 수준 분석을 포함하여 다양한 해상도에서 관련 뇌 영역을 탐지한다.
• LRP 통합을 통해 모델의 예측을 상세히 해석할 수 있으며, 각 인지 상태의 분류에 기여한 비트 볼륨이 무엇인지 시각화할 수 있다.
• DLight의 분류 성능는 기존 방법보다 데이터셋 크기가 증가함에 따라 더 유리하게 스케일링된다.
• 예측 성능를 희생시키지 않고도 높은 해석 가능성을 유지하여 신경과학적 가설 수립에 적합하다.