[論文レビュー] Construction Grammar Provides Unique Insight into Neural Language Models

Leonie Weissweiler, Taiqi He+4 more|arXiv (Cornell University)|Feb 4, 2023

Natural Language Processing Techniques被引用数 10

ひとこと要約

本論文は構文文法（CxG）を用いて大規模事前学習言語モデルを探る方法を検討し、現在のプロービング手法を総括し、CxG特有の評価とデータ資源の開発に向けた課題と今後の展望を整理している。

ABSTRACT

Construction Grammar (CxG) has recently been used as the basis for probing studies that have investigated the performance of large pretrained language models (PLMs) with respect to the structure and meaning of constructions. In this position paper, we make suggestions for the continuation and augmentation of this line of research. We look at probing methodology that was not designed with CxG in mind, as well as probing methodology that was designed for specific constructions. We analyse selected previous work in detail, and provide our view of the most important challenges and research questions that this promising new field faces.

研究の動機と目的

• LMは言語を効果的にモデル化し、下流タスクへ影響を与えるためには構文を理解する必要があると主張する。
• 既存のプロービング手法と、PLMsにおける構文知識の把握における限界を検討する。
• CxG特有のプロービング研究、データの利用方法、手法の多様性を概観し、ギャップを特定して今後の研究を指針にする。
• 言語横断での構造表現の標準化されたプローブ手法と注釈付きデータ資源の必要性を強調する。

提案手法

• CxG向けに設計されていない現在のプローブ手法と、特定構文のために設計された手法を調査・批評する。
• CxGに焦点を当てたプロービング研究で用いられるデータ源と実験設計を分析する。
• 既存の手法が構文構造をどの程度捉え、構文意味の捉え方は相対的にどの程度かを評価する。
• CxG適合のプロービング手法とデータ資源を開発する方向性を提案する。
• プロービングが構文上のギャップを示す場合、LMのアーキテクチャや事前学習に対する潜在的影響を議論する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、構文を形と意味の全体像（ゲシュタルト）として表現しているのか？
• RQ2 現在のプロービング手法は、構文に特徴的な開放スロットや非連続的パターンを捉えられるのか？
• RQ3 PLMsにおける構文知識を堅牢に評価するために、どんなデータ・注釈・手法が必要か？
• RQ4 構文中心のプロービングは、モデルアーキテクチャや事前学習目標の改善につながるのか？

主な発見

• 既存のプロービング手法は主に構文的/構造的な構成への感度を示すが、それらの意味の堅牢な理解を示すのが難しい。
• CxGに焦点を当てた研究は英語における構文構造の表現を示す証拠があるが、言語間での意味獲得の証拠は限定的。
• データと構築リストは偏っているか制限されており、PLMsにおける構文知識について一般化可能な結論を妨げている。
• 現行の手法は構文範囲・データソース・証拠のタイプが異なり、研究間の一般化を難しくしている。
• プロービング方法論の標準化と、普遍的な構文辞書リソースおよび注釈付きコーパスの開発が必要である。
• プロービングの知見は、構文意味とスロットの取り扱いに潜在的な根本的なギャップを示唆しており、アーキテクチャや訓練の適応を要する。