[論文レビュー] Interpretable LSTMs For Whole-Brain Neuroimaging Analyses

Armin W. Thomas, Hauke R. Heekeren+2 more|arXiv (Cornell University)|Oct 23, 2018

Functional Brain Connectivity Studies参考文献 1被引用数 13

ひとこと要約

本稿では、全脳fMRIデータの時空間的依存関係をボクセル全体にわたってモデル化する解釈可能なLSTMを用いた深層学習フレームワークDLightを提案する。層別重要度伝播（LRP）を統合することで、神経科学者がモデルが脳活動パターンと認知状態の間の関連をどのように結びつけるかを解釈可能にする。従来の手法よりも高い復元精度を達成するとともに、複数のデータ粒度で生物学的に妥当な脳領域を同定する。

ABSTRACT

The analysis of neuroimaging data poses several strong challenges, in particular, due to its high dimensionality, its strong spatio-temporal correlation and the comparably small sample sizes of the respective datasets. To address these challenges, conventional decoding approaches such as the searchlight reduce the complexity of the decoding problem by considering local clusters of voxels only. Thereby, neglecting the distributed spatial patterns of brain activity underlying many cognitive states. In this work, we introduce the DLight framework, which overcomes these challenges by utilizing a long short-term memory unit (LSTM) based deep neural network architecture to analyze the spatial dependency structure of whole-brain fMRI data. In order to maintain interpretability of the neuroimaging data, we adapt the layer-wise relevance propagation (LRP) method. Thereby, we enable the neuroscientist user to study the learned association of the LSTM between the data and the cognitive state of the individual. We demonstrate the versatility of DLight by applying it to a large fMRI dataset of the Human Connectome Project. We show that the decoding performance of our method scales better with large datasets, and moreover outperforms conventional decoding approaches, while still detecting physiologically appropriate brain areas for the cognitive states classified. We also demonstrate that DLight is able to detect these areas on several levels of data granularity (i.e., group, subject, trial, time point).

研究の動機と目的

• 検索光（searchlight）のような従来の復元手法の限界に対処する。これらの手法は局所的なボクセルクラスタに注目するが、fMRIデータにおける分散型空間パターンを無視する。
• 小規模なサンプル数で高次元かつ時空間的に相関のあるfMRIデータに起因する課題を克服する。
• 神経科学的洞察を支援するため、全脳fMRI解析において解釈可能性を維持する深層学習フレームワークを開発する。
• グループ、被験者、試行、時間点の複数のデータ粒度レベルで、認知状態に関連する脳領域を同定可能にする。
• 本手法がより大きなデータセットに対しても有効にスケーリングされ、同定された脳領域の生理学的妥当性を保持することを実証する。

提案手法

• 全脳fMRIデータにおけるボクセルと時間点の間の時空間的依存関係をモデル化するため、長短期記憶（LSTM）ネットワークを採用する。
• LSTMの予測を解釈可能にするために、層別重要度伝播（LRP）を適応し、入力ボクセルに重要度スコアを割り当てる。
• fMRIデータを時間経過にわたる脳活動パターンの系列として処理し、LSTMが長距離の時間的ダイナミクスを捉える能力を活用する。
• DLightフレームワークを全脳fMRIデータに適用し、認知状態に関連する分散型空間パターンのエンドツーエンド学習を可能にする。
• LRPを用いて、各認知状態の分類に最も寄与した脳領域を可視化するためのサリエンシー・マップを生成する。
• グループレベル、被験者レベル、試行レベル、時間点レベルの複数のデータ粒度で、モデルの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 LSTMベースの深層学習モデルは、解釈可能性を保ちつつ、全脳fMRIデータから認知状態を効果的に復元できるか？
• RQ2 DLightの復元性能は、データセットサイズが変化する際、従来の検索光アプローチと比較してどうなるか？
• RQ3 DLightは、特定の認知状態に関連する生物学的に妥当な脳領域を同定できるか？
• RQ4 DLightは、個々の試行や時間点を含む、複数のデータ粒度レベルで関連する脳領域を同定できるか？
• RQ5 LRPの統合が、神経画像解析の文脈においてLSTMの予測の解釈可能性をどの程度向上させるか？

主な発見

• DLightは、特にデータセットサイズが増加するにつれて、従来の復元手法を上回る復元精度を示す。
• 本手法は、認知状態に関連する生理学的に適切な脳領域を効果的に同定し、生物学的妥当性を裏付けた。
• DLightは、グループレベル、被験者レベル、試行レベル、時間点レベルの複数の粒度で関連する脳領域を同定する。
• LRPの統合により、モデルの予測を詳細に解釈可能にし、各認知状態の分類に最も寄与したボクセルがどの領域かを明らかにした。
• DLightの復元性能は、従来手法よりもデータセットサイズの増加に対してより良好にスケーリングされる。
• 予測性能を損なわず、高い解釈可能性を維持するため、神経科学的仮説の生成に適している。