[論文レビュー] Integrating Linguistic Theory and Neural Language Models

Bai Li|arXiv (Cornell University)|Jul 20, 2022

Natural Language Processing Techniques被引用数 4

ひとこと要約

本学位論文は、多言語Bertを用いて語の品詞の柔軟性における意味的距離を測定することで、言語理論とニューラル言語モデルの相互作用的利点を示している。さらに、ガウス分布に基づく驚異度法を提案し、意味的異常よりも早い段階で構文的・語彙的異常を検出可能にした。また、心理言語学的実験を改変することで、言語モデルが構文論的構成（construction grammar theory）を内部に統合していることを示した。主な貢献は、理論に裏付けられた体系的で体系的なプローブ手法を確立し、ニューラルモデルが言語現象をどのように内部化しているかを明らかにしたことにある。

ABSTRACT

Transformer-based language models have recently achieved remarkable results in many natural language tasks. However, performance on leaderboards is generally achieved by leveraging massive amounts of training data, and rarely by encoding explicit linguistic knowledge into neural models. This has led many to question the relevance of linguistics for modern natural language processing. In this dissertation, I present several case studies to illustrate how theoretical linguistics and neural language models are still relevant to each other. First, language models are useful to linguists by providing an objective tool to measure semantic distance, which is difficult to do using traditional methods. On the other hand, linguistic theory contributes to language modelling research by providing frameworks and sources of data to probe our language models for specific aspects of language understanding. This thesis contributes three studies that explore different aspects of the syntax-semantics interface in language models. In the first part of my thesis, I apply language models to the problem of word class flexibility. Using mBERT as a source of semantic distance measurements, I present evidence in favour of analyzing word class flexibility as a directional process. In the second part of my thesis, I propose a method to measure surprisal at intermediate layers of language models. My experiments show that sentences containing morphosyntactic anomalies trigger surprisals earlier in language models than semantic and commonsense anomalies. Finally, in the third part of my thesis, I adapt several psycholinguistic studies to show that language models contain knowledge of argument structure constructions. In summary, my thesis develops new connections between natural language processing, linguistic theory, and psycholinguistics to provide fresh perspectives for the interpretation of language models.

研究の動機と目的

• ニューラル言語モデルが語の品詞の柔軟性といった言語現象における意味的距離を測定する客観的ツールとして機能できるかどうかを調査すること。
• ガウス密度推定を用いて言語モデルの中間層における驚異度を測定する手法を開発し、言語的異常を検出すること。
• 構文論的構成理論に基づく文構造の構成知識を言語モデルが内部に持っているかどうかを検証するために、心理言語学的実験を改変すること。
• 言語理論がプローブ手法をガイドすることにより、ニューラル言語モデル解析の解釈可能性と関連性を向上させることの有効性を示すこと。
• 理論的言語学、心理言語学、NLPを統合するためのフレームワークを、言語モデルの体系的プローブを通じて確立すること。

提案手法

• 多言語Bert（mBERT）を用いて、多言語の語対間における意味的類似度スコアを計算し、語の品詞の柔軟性を方向的プロセスとして評価した。
• 中間トランスフォーマー層における驚異度を計算するためのガウス分布に基づく密度推定法を提案し、レイヤーワイズの異常検出を可能にした。
• 洗練されたデータセットを用いて、構文的・語彙的・常識的異常の3種類の言語的異常に対して、驚異度法を適用した。
• 特にN400反応とプリミング研究を含む心理言語学的パラダイムを、文構造の構成に対する言語モデルの反応を評価するためのプローブタスクに変換した。
• 文脈に依存する埋め込みのレイヤーワイズプローブを実施し、トランスフォーマー・モデルの順方向伝搬中に言語的特徴がどのように出現するかを分析した。
• アブレーションスタディおよびモデル比較（例：RoBERTa 対 XLNet）を用いて、アーキテクチャの違いやデータ分布への感受性を評価した。

実験結果

リサーチクエスチョン

• RQ1 mBERTのような言語モデルは、語の品詞の柔軟性の方向的分析を支援する、言語間で一貫した意味的距離の客観的測定を可能にするか？
• RQ2 言語モデルは、構文的異常を意味的・常識的異常よりも早く検出するか？ その結果は、内部処理プロセスに何を示唆するか？
• RQ3 言語モデルは、人間の心理言語学的発見と同等の文構造の構成知識の兆候を示すか？
• RQ4 言語モデルのアーキテクチャ的差異（例：RoBERTa 対 XLNet）は、異常タイプへの感受性にどのように影響するか？
• RQ5 心理言語学的パラダイムは、特定の言語的現象をプローブするためのニューラル言語モデルに効果的に適応可能か？

主な発見

• mBERTは語の品詞の柔軟性における方向的パターンを的確に特定し、変換における意味的シフトが言語間で非対称的かつ方向的であるという仮説を支持した。
• 構文的異常は意味的・常識的異常よりもネットワークの下位レイヤーでより高い驚異度を示し、構文的違反に初期に感受していることが示された。
• 言語モデルは文構造の構成に対するプローブに対して強く反応し、プリミング効果やN400に類似した反応といった、心理言語学的研究の主要な発見を再現した。
• ガウスベースの驚異度法は、特に構文的誤りに対して、標準的なマスキング言語モデルよりも早くかつ一貫して異常を検出できた。
• アーキテクチャの違いは異常検出に顕著な影響を及ぼした：RoBERTaはXLNetよりも異常タイプの区別が明確に現れた。これは、モデルアーキテクチャが言語的感受性に影響を与える可能性を示唆している。
• 複数の言語およびデータセットでプローブ結果が一貫しており、言語的知識が文脈依存埋め込みに体系的に統合されていることが示された。これは、単なる統計的パターンを超えるものである。