[論文レビュー] Injecting structural hints: Using language models to study inductive biases in language learning

Isabel Papadimitriou, Dan Jurafsky|arXiv (Cornell University)|Apr 25, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、形式的な構造化データを用いた事前学習により、GPT-2サイズの言語モデルに構造的バイアス（再帰的階層構造、非文脈自由な交差依存関係、Zipf則に従う語彙分布）を注入することで、言語学習における誘導的バイアスを調査している。主な発見は、再帰性だけに比べて、非文脈自由な交差依存関係がより強い誘導的バイアスであることであり、1%の文脈依存的構造が句構造再帰性をわずかに破るハイブリッドモデルでは、さらなる性能向上が見られた。

ABSTRACT

Both humans and large language models are able to learn language without explicit structural supervision. What inductive biases make this learning possible? We address this fundamental cognitive question by leveraging transformer language models: we inject inductive bias into language models by pretraining on formally-structured data, and then evaluate the biased learners' ability to learn typologically-diverse natural languages. Our experimental setup creates a testbed for hypotheses about inductive bias in human language learning. We investigate the effect of injecting models with three types of inductive bias: 1) recursive, hierarchical processing, 2) crossing token-token relationships that can't be modeled by context-free grammars, and 3) a Zipfian power-law vocabulary distribution. We show that non-context-free relationships form the best inductive biases. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run on humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.

研究の動機と目的

• 自然言語を明示的な教師信号なしに学習する言語モデルが、どの構造的誘導的バイアスによって可能になるかを調査すること。
• 再帰性、非文脈自由な依存関係、Zipf則に従う語彙分布が、言語学習においてより強い誘導的バイアスを形成するかどうかを検証すること。
• 異なる構造的バイアスを組み合わせることで、下流の言語モデル性能にどのような影響を与えるかを調査すること。
• 人間の言語習得に内在する認知的誘導的バイアスに関する検証可能な仮説を生成すること。
• 人工的学習者を用いた制御された実験フレームワークを提供し、人間の言語認知に関する根本的問いに迫ること。

提案手法

• 再帰的構文構造、交差依存関係、Zipf則に従う語彙頻度分布を強制する合成形式言語コーパスを用いて、GPT-2サイズの言語モデルを事前学習する。
• 各誘導的バイアスを、形式的文法的制約を持つ別個の合成データセット上で微調整することで注入する。
• 英語、日本語、バスク語のWikipedia風テキストを用いた下流の言語モデル化タスクで、得られたモデルを評価する。
• モデル間の性能比較に、主にパープレキシティを指標として用いる。
• 主に再帰的バイアスの下で、文脈依存的構造の割合を系統的に変化させ、ハイブリッド効果をテストする。
• 事前学習データと微調整データの間で語彙の重複がないようにし、構造的バイアスの効果を語彙的露出の影響から分離する。

実験結果

リサーチクエスチョン

• RQ1 再帰的・階層的構造への誘導的バイアスが、非文脈自由で交差する依存関係へのバイアスよりも言語学習で優れているか？
• RQ2 主に再帰的だが、わずかに文脈依存的依存関係を含むハイブリッド誘導的バイアスは、純粋な再帰性よりも効果的か？
• RQ3 事前学習と微調整の語彙に重複がない場合でも、Zipf則に従う語彙分布へのバイアスが言語学習性能を向上させるか？
• RQ4 異なる誘導的バイアスは、言語タイプに多様な言語の文法的構造や話法的構造の習得にどのように影響を与えるか？
• RQ5 人工的言語モデルは、人間の言語学習バイアスに関する仮説を生成するための制御されたテストベッドとして機能できるか？

主な発見

• 非文脈自由な交差依存関係を事前学習で注入したモデルは、純粋に再帰的構文構造を持つモデルよりも、下流の言語モデル化タスクで優れた性能を示した。
• 主に再帰的バイアスであるが、わずか1%の文脈依存的・交差依存的構造が組み込まれたモデルでは、言語学習性能が顕著に向上した。
• 語彙に重複がない場合でも、Zipf則に従う語彙分布へのバイアスが、下流の言語モデル化性能を向上させた。
• 再帰的バイアスと非文脈自由バイアスの両方が、ランダム言語および正則言語のベースラインを著しく上回ったことから、強い誘導的バイアス効果が示された。
• 再帰性そのものが言語学習に最も重要な誘導的バイアスであるという仮説に反し、複雑で非文脈自由な関係が、それと同等またはより強力である可能性があることが示唆された。
• 本研究は、人工的言語モデルが、人間の言語習得に関する認知的仮説を検証するための実行可能な実験プラットフォームであることを示した。