[論文レビュー] Neural Language Models are not Born Equal to Fit Brain Data, but Training Helps

Alexandre Pasquiou, Yair Lakretz+3 more|arXiv (Cornell University)|Jul 7, 2022

Topic Modeling被引用数 8

ひとこと要約

本研究は、神経言語モデル（NLM）のアーキテクチャ、学習、パープレキシティ、および学習データが、オーディオブック聴取中のfMRI脳活動を予測する能力に与える影響を調査する。研究では、未学習のLSTMが文脈への感受性が低いため、トランスフォーマーを上回る性能を示す一方で、学習がすべてのアーキテクチャにおいて脳スコアを向上させることを明らかにした。特にトランスフォーマーでは顕著な向上が見られた。一方、パープレキシティは脳適合度の予測に不適切であり、限定的なデータで学習された市販モデルは脳活性化を検出するのに十分な統計的パワーを欠いていることが示された。

ABSTRACT

Neural Language Models (NLMs) have made tremendous advances during the last years, achieving impressive performance on various linguistic tasks. Capitalizing on this, studies in neuroscience have started to use NLMs to study neural activity in the human brain during language processing. However, many questions remain unanswered regarding which factors determine the ability of a neural language model to capture brain activity (aka its 'brain score'). Here, we make first steps in this direction and examine the impact of test loss, training corpus and model architecture (comparing GloVe, LSTM, GPT-2 and BERT), on the prediction of functional Magnetic Resonance Imaging timecourses of participants listening to an audiobook. We find that (1) untrained versions of each model already explain significant amount of signal in the brain by capturing similarity in brain responses across identical words, with the untrained LSTM outperforming the transformerbased models, being less impacted by the effect of context; (2) that training NLP models improves brain scores in the same brain regions irrespective of the model's architecture; (3) that Perplexity (test loss) is not a good predictor of brain score; (4) that training data have a strong influence on the outcome and, notably, that off-the-shelf models may lack statistical power to detect brain activations. Overall, we outline the impact of modeltraining choices, and suggest good practices for future studies aiming at explaining the human language system using neural language models.

研究の動機と目的

• 神経言語モデル（NLM）の、自然言語処理中のfMRI時系列データを予測する能力に影響を与える要因として、モデルアーキテクチャ、学習、パープレキシティ、学習データのうち、どの要因が最も影響を与えるかを調査すること。
• 未学習のモデルがすでに意味のある脳信号を捉えているかどうか、特に繰り返し登場する語に対する反応の類似性を評価すること。
• パープレキシティ（テスト損失）が、モデルの脳活動への適合度を信頼性高く予測できるかどうかを評価すること。
• 特にWikipediaのみで学習された市販モデルが、脳活性化を検出するのに十分な統計的パワーを有しているかどうかを特定すること。
• 神経画像法研究における人間の言語処理をモデル化するためのNLMの最良の実践法を同定すること。

提案手法

• 『小さなプリンス』のオーディオブックを聴取した被験者のfMRIデータを用いて、GloVe、LSTM、GPT-2、BERTの4つのNLMアーキテクチャを学習・評価した。
• 各モデルの未学習版（ランダムまたは固定埋め込み）と完全に微調整された版を比較し、学習の影響を分離した。
• 脳スコアを、脳領域全体におけるモデル活性化とfMRI時系列の相関として測定した。神経応答を予測するための線形モデルを用いた。
• モデルの収束過程において、学習エポックごとにパープレキシティと脳スコアを追跡し、両者の関係を評価した。
• 大規模およびWikipedia限定のデータセットを含む多様な学習コーパスを用い、データの影響がモデル性能に与える影響を評価した。
• モデルおよび学習条件の間で統計的比較を実施し、学習が予測を改善する一貫した脳領域を同定した。

実験結果

リサーチクエスチョン

• RQ1 未学習の神経言語モデルは、fMRI脳活動の有意な分散を説明できるのか。また、アーキテクチャごとに性能はどのように異なるのか。
• RQ2 学習が、アーキテクチャにかかわらず、モデルの脳活動予測能力を一貫して向上させるのか。
• RQ3 パープレキシティは、さまざまなアーキテクチャおよび学習段階において、モデルの脳スコアを信頼性高く予測できるのか。
• RQ4 学習コーパスのサイズと種別が、モデルの脳データ適合能力に与える影響は何か。特に市販モデルにおいては。
• RQ5 どの脳領域が、さまざまなモデルタイプおよび学習条件において一貫して予測精度が向上しているか。

主な発見

• 未学習のLSTMは、未学習のトランスフォーマーおよびGloVeよりもfMRI応答を予測する能力が優れており、文脈への感受性が低く、より安定した語の表現を持つためと推定される。
• 学習は、すべてのモデルアーキテクチャにおいて脳スコアを顕著に向上させ、同じ脳領域の集合が微調整後に予測精度が向上することが一貫して観察された。
• パープレキシティは脳スコアの予測に信頼性がなく、低いパープレキシティを示すモデルが必ずしも高い脳スコアを達成するわけではない。
• Wikipediaのみで学習された市販モデルは、脳活性化を検出するのに十分な統計的パワーを欠いており、学習データの質とスケールの重要性が浮き彫りになった。
• 学習によって一貫して予測精度が向上する脳領域のネットワークは、コア言語領域（IFG、STS）およびデフォルトモードネットワーク（楔前回、前頭中線前頭皮質）と重複しており、文脈依存的言語処理に関与している可能性がある。
• 出始めは性能が低かったにもかかわらず、トランスフォーマー系モデル（GPT-2、BERT）はLSTMよりも学習による利益をより大きく受け、最終的に脳スコア予測で上回った。