[論文レビュー] Blackbox meets blackbox: Representational Similarity and Stability Analysis of Neural Language Models and Brains

Samira Abnar, Lisa Beinborn+2 more|arXiv (Cornell University)|Jun 4, 2019

Topic Modeling参考文献 34被引用数 14

ひとこと要約

本稿では、代表的類似性分析（RSA）を拡張して、文脈長の変化に伴うニューラル言語モデルの表現の変化を評価する、新しい手法である表象安定性分析（ReStA）を提案する。LSTMベースのモデル（例：GoogleLM、ELMO）は、Transformerベースのモデルよりも高い表象安定性と、人間の脳fMRIデータとの強い整合性を示しており、その内部ダイナミクスが脳で観察される深い言語処理をよりよく反映していることを示唆している。

ABSTRACT

In this paper, we define and apply representational stability analysis (ReStA), an intuitive way of analyzing neural language models. ReStA is a variant of the popular representational similarity analysis (RSA) in cognitive neuroscience. While RSA can be used to compare representations in models, model components, and human brains, ReStA compares instances of the same model, while systematically varying single model parameter. Using ReStA, we study four recent and successful neural language models, and evaluate how sensitive their internal representations are to the amount of prior context. Using RSA, we perform a systematic study of how similar the representational spaces in the first and second (or higher) layers of these models are to each other and to patterns of activation in the human brain. Our results reveal surprisingly strong differences between language models, and give insights into where the deep linguistic processing, that integrates information over multiple sentences, is happening in these models. The combination of ReStA and RSA on models and brains allows us to start addressing the important question of what kind of linguistic processes we can hope to observe in fMRI brain imaging data. In particular, our results suggest that the data on story reading from Wehbe et al. (2014) contains a signal of shallow linguistic processing, but show no evidence on the more interesting deep linguistic processing.

研究の動機と目的

• ニューラル言語モデルの内部表現が、文脈長の変化に伴ってどのように変化するかを調査すること。
• 異なる言語モデルの表象類似性と、人間の脳活性化パターンとの整合性を比較すること。
• 物語の読解タスクにおけるfMRIデータに、深い言語処理の信号が含まれているか、それとも浅い処理の信号にとどまっているかを評価すること。
• モデルアーキテクチャーや学習目的が、表象安定性と脳に類似した整合性をどのように形作っているかを評価すること。

提案手法

• 同じモデルの表現を体系的に変化させた文脈長で比較するReStAを提案し、RSAの変種として用いる。
• モデルの活性化と脳fMRIデータの両方において、刺激ペア間の類似性行列をRSAを用いて計算する。
• GoogleLM、ELMO、BERT、Universal Sentence Encoderの4つの最先端言語モデルにReStAを適用する。
• 類似性行列のピアソン相関を用いて、モデルの層と脳領域間の表象類似性を測定する。
• 人間被験者が物語を読んだ際のfMRIデータ（Wehbe et al., 2014）を、脳表現の代理として用いる。
• 異なる層と文脈条件におけるモデルのパフォーマンスと表象安定性を分析する。

実験結果

リサーチクエスチョン

• RQ1 文脈長の変化に伴って、ニューラル言語モデルの内部表現はどのように変化するか？
• RQ2 どの言語モデルアーキテクチャーや層が、文脈変化に対して最も高い表象安定性を示すか？
• RQ3 異なる言語モデルの表象空間は、互いにまた、物語処理中の人間の脳活性化パターンとどれほど類似しているか？
• RQ4 物語の読解から得られるfMRIデータは、浅い処理とは対照的に、どれほど深い言語処理を反映しているか？

主な発見

• LSTMベースのモデル（GoogleLM、ELMO）は、Transformerベースのモデル（BERT、Universal Sentence Encoder）よりも、文脈変化に対して顕著に高い表象安定性を示した。
• LSTMモデルの第1層（L0）は文脈長に対して最小限の感受性を示したが、第2層（L1）は強い文脈依存的表現変化を示しており、L1が時間的になんらかの情報を統合していることが示唆された。
• LSTMベースのモデルは、語彙レベルのモデル（例：GloVe）やTransformerベースのモデルよりも、人間の脳fMRIデータと高い表象類似性を達成した。
• 文脈長に伴うモデル表現やパフォーマンスの顕著な変化にもかかわらず、脳表現との整合性には反映されておらず、表象の伝達が限定的であることが示唆された。
• Wehbe et al. (2014) の脳データからは、浅い言語処理の信号は観察されたが、文の間をまたがる深い言語統合の明確な証拠は得られなかった。
• 左側前頭側頭皮質（Left Anterior Temporal Lobe）は、すべてのモデルにおいて一貫して、モデル表現との最も高い表象類似性を示しており、意味統合の潜在的神経的相関である可能性が示唆された。