[論文レビュー] Bridging LSTM architecture and the neural dynamics during reading

Peng Qian, Xipeng Qiu+1 more|arXiv (Cornell University)|Jul 9, 2016

Neural Networks and Applications参考文献 21被引用数 4

ひとこと要約

本研究では、物語の読み聞かせ中のfMRIで測定された脳活動と照合することで、長短記憶（LSTM）ネットワークの認知的妥当性を検証する。結果として、LSTMの人工的記憶ベクトルが順次的な脳活動パターンを正確に予測することを示し、LSTMのダイナミクスと人間の神経処理の間に強い類似性があることを示唆している。

ABSTRACT

Recently, the long short-term memory neural network (LSTM) has attracted wide interest due to its success in many tasks. LSTM architecture consists of a memory cell and three gates, which looks similar to the neuronal networks in the brain. However, there still lacks the evidence of the cognitive plausibility of LSTM architecture as well as its working mechanism. In this paper, we study the cognitive plausibility of LSTM by aligning its internal architecture with the brain activity observed via fMRI when the subjects read a story. Experiment results show that the artificial memory vector in LSTM can accurately predict the observed sequential brain activities, indicating the correlation between LSTM architecture and the cognitive process of story reading.

研究の動機と目的

• 人間の読解プロセスをモデル化する際のLSTMアーキテクチャの認知的妥当性を評価すること。
• LSTMの内部ダイナミクスが物語理解中の観察された神経活動と対応しているかどうかを調査すること。
• LSTM記憶セルがfMRIで測定された順次的脳活動パターンを予測できるかどうかを特定すること。
• 読解における人工ニューラルネットワークの構成要素と生物学的神経機構との間の機能的類似性を探索すること。

提案手法

• 被験者が物語を聴取している間のfMRIデータを収集し、順次的脳活動を捉えた。
• 物語の言語的入力を用いてLSTMモデルを学習させ、内部表現を生成した。
• 各タイムステップでLSTMの人工的記憶ベクトルを抽出し、対応するfMRI活動パターンと比較した。
• LSTM記憶ベクトルの脳活動予測力の検証に、マルチボクセルパターン分析（MVPA）手法を用いた。
• 相関に基づく指標を用いて、LSTM記憶状態とfMRIパターンの整合性を定量化した。

実験結果

リサーチクエスチョン

• RQ1 LSTM記憶ベクトルは、物語の読み聞かせ中に観察された順次的脳活動パターンを予測できるか？
• RQ2 LSTMの内部ダイナミクスと人間の脳における読解時の神経活動との間に有意な類似性があるか？
• RQ3 LSTMアーキテクチャは、物語理解の背後にある認知的メカニズムをどの程度反映しているか？
• RQ4 LSTMのゲートと記憶セルは、読解時の特定の神経プロセスに対応しているか？

主な発見

• LSTMの人工的記憶ベクトルは、物語の読み聞かせ中に観察されたfMRI活動パターンと強く有意な相関を示した。
• モデルの内部状態は脳活動を高い精度で予測したため、LSTMダイナミクスが現実の神経処理シーケンスを反映していることが示された。
• 特に言語および物語理解に関連する脳領域、例えば左後側上側後頭溝において、対応関係が顕著に強かった。
• 結果として、LSTMアーキテクチャは人工的ではあるが、読解に関与する認知的ダイナミクスの基本的側面を捉えていることが示唆された。