[论文解读] Interpretable LSTMs For Whole-Brain Neuroimaging Analyses

Armin W. Thomas, Hauke R. Heekeren+2 more|arXiv (Cornell University)|Oct 23, 2018

Functional Brain Connectivity Studies参考文献 1被引用 13

一句话总结

该论文提出DLight，一种使用可解释LSTM的深度学习框架，通过建模体素间的时空依赖性来分析全脑fMRI数据。通过整合逐层显著性传播（LRP），DLight使神经科学家能够解释模型如何将脑活动模式与认知状态关联起来，在解码准确率方面优于传统方法，同时在多种数据粒度下检测到具有生物学合理性的脑区。

ABSTRACT

The analysis of neuroimaging data poses several strong challenges, in particular, due to its high dimensionality, its strong spatio-temporal correlation and the comparably small sample sizes of the respective datasets. To address these challenges, conventional decoding approaches such as the searchlight reduce the complexity of the decoding problem by considering local clusters of voxels only. Thereby, neglecting the distributed spatial patterns of brain activity underlying many cognitive states. In this work, we introduce the DLight framework, which overcomes these challenges by utilizing a long short-term memory unit (LSTM) based deep neural network architecture to analyze the spatial dependency structure of whole-brain fMRI data. In order to maintain interpretability of the neuroimaging data, we adapt the layer-wise relevance propagation (LRP) method. Thereby, we enable the neuroscientist user to study the learned association of the LSTM between the data and the cognitive state of the individual. We demonstrate the versatility of DLight by applying it to a large fMRI dataset of the Human Connectome Project. We show that the decoding performance of our method scales better with large datasets, and moreover outperforms conventional decoding approaches, while still detecting physiologically appropriate brain areas for the cognitive states classified. We also demonstrate that DLight is able to detect these areas on several levels of data granularity (i.e., group, subject, trial, time point).

研究动机与目标

• 解决传统解码方法（如搜索窗法）的局限性，后者聚焦于局部体素簇，忽略了fMRI数据中的分布式空间模式。
• 克服高维、时空相关性强但样本量小的fMRI数据带来的挑战。
• 开发一种在全脑fMRI分析中保持可解释性的深度学习框架，以支持神经科学研究洞察。
• 实现对与认知状态相关的脑区在多个数据粒度层次（群体、受试者、试验和时间点）的识别。
• 证明该方法在数据集规模增大时仍能有效扩展，同时保持检测到的脑区具有生理合理性。

提出的方法

• 采用长短期记忆（LSTM）网络，对全脑fMRI数据在体素和时间点上的时空依赖性进行建模。
• 将逐层显著性传播（LRP）方法适配于解释LSTM的预测结果，通过为输入体素分配显著性分数来实现。
• 将fMRI数据处理为随时间变化的脑活动模式序列，利用LSTM捕捉长程时间动态特性。
• 将DLight框架应用于全脑fMRI数据，实现与认知状态相关联的分布式空间模式的端到端学习。
• 利用LRP生成显著性图，可视化在每个认知状态下对模型预测贡献最大的脑区。
• 在多种数据粒度下评估模型性能，包括群体水平、受试者水平、试验水平和时间点水平的预测。

实验结果

研究问题

• RQ1 基于LSTM的深度学习模型能否在保持可解释性的同时，有效从全脑fMRI数据中解码认知状态？
• RQ2 在不同数据集规模下，DLight的解码性能与传统搜索窗方法相比如何？
• RQ3 DLight能否检测到与特定认知状态相关的生物学上合理的脑区？
• RQ4 DLight能否在多个数据粒度层次上识别相关脑区，包括单个试验和时间点？
• RQ5 LRP的集成在多大程度上增强了LSTM预测在神经影像学背景下的可解释性？

主要发现

• DLight在解码准确率方面优于传统解码方法，尤其在数据集规模增大时表现更优。
• 该方法成功识别出与认知状态相关的生理上合适的脑区，验证了其生物学相关性。
• DLight在多个粒度层次上检测到相关脑区，包括群体水平、受试者水平、试验水平和时间点水平的分析。
• LRP的集成使模型预测的解释更加细致，展示了哪些体素对每个认知状态的分类贡献最大。
• 与传统方法相比，DLight的解码性能在数据集规模增大时表现出更优的可扩展性。
• 该模型在不牺牲预测性能的前提下保持了高可解释性，适用于神经科学假设生成。