[論文レビュー] Deep learning approaches for neural decoding: from CNNs to LSTMs and spikes to fMRI

Jesse A. Livezey, Joshua I. Glaser|arXiv (Cornell University)|May 19, 2020

EEG and Brain-Computer Interfaces被引用数 5

ひとこと要約

この論文は、スパイクからfMRIに至る神経データから行動、知覚、認知状態を予測する神経デコードにおけるディーブラーニングアプローチをレビューし、CNN、LSTM、その他のアーキテクチャが精度を向上させる仕組みを示している。事前学習済みネットワークを音声や画像のような複雑な出力の事前分布として用いること、および転移学習と解釈可能性の手法が神経科学的応用における科学的洞察を高める点も強調している。

ABSTRACT

Decoding behavior, perception, or cognitive state directly from neural signals has applications in brain-computer interface research as well as implications for systems neuroscience. In the last decade, deep learning has become the state-of-the-art method in many machine learning tasks ranging from speech recognition to image segmentation. The success of deep networks in other domains has led to a new wave of applications in neuroscience. In this article, we review deep learning approaches to neural decoding. We describe the architectures used for extracting useful features from neural recording modalities ranging from spikes to EEG. Furthermore, we explore how deep learning has been leveraged to predict common outputs including movement, speech, and vision, with a focus on how pretrained deep networks can be incorporated as priors for complex decoding targets like acoustic speech or images. Deep learning has been shown to be a useful tool for improving the accuracy and flexibility of neural decoding across a wide range of tasks, and we point out areas for future scientific development.

研究の動機と目的

• スパイク、EEG、fMRI、fNIRSを含む多様な神経記録モダリティにおけるディーブラーニングの応用をレビューすること。
• 異なるディーブラーニングアーキテクチャ（CNN、RNN、LSTM）が特定の神経データタイプとデコードタスクにどのように適しているかを評価すること。
• 音声や視覚的画像のような複雑な出力のデコードに、事前学習済みディープネットワークを有効な事前分布として用いる方法を検討すること。
• 一般化性能と神経科学的洞察の向上を目的とした転移学習および解釈可能性技術の検討。
• データ効率性、モデルの解釈可能性、ディープラーニングと神経科学研究の統合に関する未解決の課題を特定すること。

提案手法

• 1次元（スパイク、EEG）、2次元（fMRIスライス）、3次元（ボリュメトリックfMRI）の神経データから、階層的かつ並進不変な特徴を抽出するために畳み込みニューラルネットワーク（CNN）を活用する。
• 神経シーケンスにおける時間的依存性をモデル化し、可変長の試行を柔軟に処理できるように、再帰的ニューラルネットワーク（RNN）およびLSTMを用いる。
• 大規模データセット（例：ImageNet）で事前学習されたモデルを微調整することで、神経活動を画像や音声といった複雑な出力にデコードするための転移学習を適用する。
• 神経細胞またはチャネル間で重みを共有することで、過学習を抑えるための共通のデータ駆動型特徴を学習し、限られた神経データでも過学習を軽減する。
• 注目メカニズムと特徴の寄与度評価法を用いて、予測に最も寄与している神経入力（チャネル、時間点、神経細胞）を特定する。
• 標準的なディープラーニングフレームワーク（PyTorch、TensorFlow）と標準的な最適化および損失関数を用いるが、過学習を防ぐために交差検証を慎重に行うことを強調する。

実験結果

リサーチクエスチョン

• RQ1 CNNやLSTMといった異なるディーブラーニングアーキテクチャは、多様な神経記録モダリティにおいて神経デコードの精度をどのように向上させるか？
• RQ2 事前学習済みディープネットワークは、音声や画像のような高次元出力のデコードに、どの程度効果的な事前分布として機能するか？
• RQ3 データが限られている場合や新しい被験者に対して、転移学習はデコード性能をどの程度向上させるか？
• RQ4 解釈可能性技術は、神経科学的文脈における神経デコーダーが学習した変換を理解するために、どのように応用できるか？
• RQ5 fMRI や fNIRS のような低SNR または低サンプルサイズのデータに適用した際、ディープラーニングの神経デコードにおける制限は何か？

主な発見

• 特にCNNとLSTMを用いたディーブラーニングモデルは、比較的小さなデータセットでも、線形的手法や浅いモデルを上回る性能を示す。
• 事前学習済みディープネットワークは、音声や視覚的画像といった複雑な出力のデコードにおいて、強力なインダクティブバイアスを提供することで、デコード精度を顕著に向上させる。
• 転移学習により、データが限られている新規被験者や新しい出力に対して、効果的なデコードが可能となり、再訓練の必要性が大幅に削減される。
• 特徴の寄与度評価や注目メカニズムといった解釈可能性手法により、特定の神経細胞や時間点がデコード出力に対して最も予測に寄与していることが特定できる。
• 高い性能を発揮する一方で、デコーダーが学習する表現は神経活動と事前知識（例：事前学習モデルからの知識）の両方に影響を受けるため、神経情報の内容についての直接的な推論は制限される。
• 過学習は神経科学的応用において依然として懸念事項であり、fMRI や fNIRS のようなスパarsで高次元のデータでは、交差検証と正則化を慎重に行う必要がある。