[論文レビュー] Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses

Richard Antonello, Javier S. Turek+2 more|arXiv (Cornell University)|Jun 9, 2021

Topic Modeling参考文献 34被引用数 24

ひとこと要約

本論文は、100のNLPタスクにおける言語表現空間の低次元構造を、転移学習に基づく手法でマッピングする。その結果、単語埋め込み、構文、意味、将来の単語予測をつなぐ連続的な階層が明らかになった。この表現埋め込みは、fMRI脳応答を高い精度で予測でき、脳の自然言語処理階層を捉えている。

ABSTRACT

How related are the representations learned by neural language models, translation models, and language tagging tasks? We answer this question by adapting an encoder-decoder transfer learning method from computer vision to investigate the structure among 100 different feature spaces extracted from hidden representations of various networks trained on language tasks. This method reveals a low-dimensional structure where language models and translation models smoothly interpolate between word embeddings, syntactic and semantic tasks, and future word embeddings. We call this low-dimensional structure a language representation embedding because it encodes the relationships between representations needed to process language for a variety of NLP tasks. We find that this representation embedding can predict how well each individual feature space maps to human brain responses to natural language stimuli recorded using fMRI. Additionally, we find that the principal dimension of this structure can be used to create a metric which highlights the brain's natural language processing hierarchy. This suggests that the embedding captures some part of the brain's natural language representation structure.

研究の動機と目的

• NLPで用いられる多様な言語表現（単語埋め込み、構文、意味、モデル固有の隠れ状態など）の間の内在的関係をマッピングすること。
• 言語表現空間が、『構文的』や『意味的』といった定性的な記述が示唆するように、根本的に低次元であるかどうかを調査すること。
• 人工的表現におけるこの低次元構造が、自然言語への人間の脳応答の組織化を反映しているかどうかを特定すること。
• 事前に定義されたラベルに依存せずに、言語表現間の機能的関係を定量的に捉える表現埋め込みを開発すること。
• 一方向および双方向言語モデルが、表現の階層的進行においてどのように異なるかを調査すること。

提案手法

• コンピュータビジョンからインスパイドされたエンコーダ・デコーダ型の転移学習フレームワークを、多様なNLPタスクからの100の言語表現間の関係を分析するために適応する。
• 類似度の代理指標として表現間の転送可能性を用い、1つの表現から別の表現を予測する線形エンコーダ・デコーダネットワークを訓練する。
• 多様な表現タイプ間での一貫性ある比較を保証するため、分析的階層プロセス（AHP）正規化を適用する。
• 転送可能性行列を圧縮してコンactな埋め込み空間にすることで、低次元表現埋め込みを構築する。
• この埋め込みの主次元を用いて、符号化モデルによりfMRI脳応答を予測する。
• 相関係数と一致精度の指標を用いて、予測された脳応答マップと実際のfMRIデータを比較することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 NLPタスク全体にわたる多様な言語表現を組織づける低次元的で連続的な構造が存在するか？
• RQ2 一方向モデルと双方向モデルの表現が、この構造においてどのように相互に関連しているか？
• RQ3 低次元表現埋め込みが、自然言語刺激に対する人間の脳応答をどの程度正確に予測できるか？
• RQ4 表現埋め込みの主次元が、脳内の言語処理階層（例：腹側経路と背側経路）を回復できるか？
• RQ5 表現埋め込みが、特定の表現がどの脳領域に対応するかをどの程度正確に予測できるか？

主な発見

• 本手法は、言語モデル、翻訳モデル、および他のNLPタスクの表現が、単語埋め込み、構文、意味、将来の単語表現の間を滑らかに補間する連続的で滑らかな低次元構造を明確にした。
• 表現埋め込みは、すべての表現で90％以上の精度でfMRI脳応答を予測し、大多数の表現では100％の精度を達成した。
• 表現埋め込みの主次元は、人間脳における既知の言語処理階層（例：腹側経路と背側経路）と広く一致した。
• 人工的言語表現と人間神経応答の間の共有された構造的組織を埋め込みが捉えていることから、共通の認知的アーキテクチャが裏付けられた。
• 転送可能性が事前のラベルや仮定なしに、表現間の機能的関係を推定できることが、本手法によって示された。
• 結果から、脳の言語処理階層が、人工的言語表現の内在的幾何的構造に反映されている可能性が示唆された。