[論文レビュー] Mapping Brains with Language Models: A Survey

Antonia Karamolegkou, Mostafa Abdou+1 more|arXiv (Cornell University)|Jun 8, 2023

Topic Modeling被引用数 4

ひとこと要約

本調査は、fMRI/MEGによる脳活動と言語モデル表現の間の構造的類似性を、10のデータセットと8つのメトリクスを用いて30件の研究を分析することで調査する。中程度の一致の証拠が得られたが、モデルサイズと品質には正の相関が見られ、現在のメトリクスは一貫性がなく、一部は深い意味的類似性ではなく浅い処理特徴を反映している可能性があると警告し、精度@1やRSAスコアのようなより慎重な評価基準の導入を促す。

ABSTRACT

Over the years, many researchers have seemingly made the same observation: Brain and language model activations exhibit some structural similarities, enabling linear partial mappings between features extracted from neural recordings and computational language models. In an attempt to evaluate how much evidence has been accumulated for this observation, we survey over 30 studies spanning 10 datasets and 8 metrics. How much evidence has been accumulated, and what, if anything, is missing before we can draw conclusions? Our analysis of the evaluation methods used in the literature reveals that some of the metrics are less conservative. We also find that the accumulated evidence, for now, remains ambiguous, but correlations with model size and quality provide grounds for cautious optimism.

研究の動機と目的

• 脳の反応と言語モデル表現の間の構造的類似性に関する蓄積された実証的証拠を評価すること。
• 30件の研究で用いられた、脳-言語モデル一致度を評価するための評価メトリクスを特定・分析すること。
• 観察された一致が、深い意味的一致を反映しているのか、それとも浅い統計的相関を反映しているのかを調査すること。
• モデルサイズと品質が神経データとの表現的一致をどのように駆動しているかを評価すること。
• 精度@1 や RSA スコアのようなより保守的で解釈可能なメトリクスを推奨し、誤った一致の主張を減らすこと。

提案手法

• fMRIおよびMEGデータを用いて言語モデル表現を神経的反応にマッピングする30件の研究を系統的サーベイする。
• 相関ベース、ランクベース、アナロジー基地の測定を含む、文献で用いられた8種類の異なる評価メトリクスを分類・比較する。
• メトリクス間の相関関係を分析し、真の表現的類似性を検出する際の保守性と信頼性を評価する。
• 非線形的または複雑なモデル効果とは分離するため、線形マッピングモデルに焦点を当てる。
• 同型性と意味的整合性に理論的根拠を持つため、精度@1 および RSA（合理的な言語行動）スコアを、提案されるゴールドスタンダードメトリクスとして使用する。
• メタアナリシスを通じて、メソドロジ的多様性にもかかわらず、データセットおよびモデル全体で一貫性のある結果を強調する。

実験結果

リサーチクエスチョン

• RQ1 言語モデル表現と神経的脳反応の間の構造的類似性に関する一貫した実証的証拠はどの程度存在するか？
• RQ2 異なる評価メトリクスは、意味的表現的一致と誤った相関を検出する能力において、どのように比較されるか？
• RQ3 観察された一致の背後にある要因は、モデルサイズ、品質、アーキテクチャ設計であり、それらが浅い統計的アーティファクトと区別可能か？
• RQ4 現在のメトリクスは、表現的類似性を過大評価しない十分に保守的か？
• RQ5 観察された一致が、表面的な処理パターンではなく、より深い意味的一致を反映していることを保証するためには、どのメトリクスを優先すべきか？

主な発見

• 言語モデルと脳反応の間の構造的類似性に関する蓄積された証拠は依然として曖昧であり、研究全体で中程度の一致が観察された。
• モデルサイズと一致性能の間の正の相関から、より大きなモデルが神経表現的構造をよりよく捉えている可能性が示唆された。
• モデルの品質（例えば、下流タスクの性能）も一致と相関しており、高性能なモデルが神経データにマッピングされやすいことを示している。
• 多くの一般的に使われるメトリクス（例えば、相関ベースのスコア）は、より保守的ではなく、浅い処理特性と深い意味的類似性を混同するリスクがある。
• 精度@1 および RSA スコアは、より保守的で理論的根拠を持つメトリクスとして特定された。これらの測定値で完全なスコアが得られることは、同型性を示す。
• 標準化された制御の欠如と一貫性のない評価プロトコルは、信頼性のあるメタアナリシスを困難にし、現在の結果の堅牢性について懸念を呈している。