[論文レビュー] Recurrent babbling: evaluating the acquisition of grammar from limited input data

Ludovica Pannitto, Aurélie Herbelot|arXiv (Cornell University)|Oct 9, 2020

Natural Language Processing Techniques参考文献 79被引用数 14

ひとこと要約

本稿は、CHILDESコーパスの子供向け言語の300万語にのぼる現実的なサブセットを用いてトレーニングされた文字レベルLSTMにおける文法習得を評価している。著者らは、生成された「ばいばい」（babbling）の分布的シフトを時間経過とともに追跡する、新しい使用に基づく手法を考案し、ネットワークが段階的に文法的構造、特に語彙化されていない文法的パターンを抽象化・再現することを示している。これは、限られた入力からも、生成的で構成的な一般化が生じている兆候である。

ABSTRACT

Recurrent Neural Networks (RNNs) have been shown to capture various aspects of syntax from raw linguistic input. In most previous experiments, however, learning happens over unrealistic corpora, which do not reflect the type and amount of data a child would be exposed to. This paper remedies this state of affairs by training a Long Short-Term Memory network (LSTM) over a realistically sized subset of child-directed input. The behaviour of the network is analysed over time using a novel methodology which consists in quantifying the level of grammatical abstraction in the model's generated output (its "babbling"), compared to the language it has been exposed to. We show that the LSTM indeed abstracts new structuresas learning proceeds.

研究の動機と目的

• RNNが、従来の生成文法の仮定に挑戦するような、限られた子供向けの入力データから抽象的な文法的構造を学習できるかどうかを調査すること。
• 下流タスクや外部アノテーションに依存せずに、ニューラルネットワークにおける文法的抽象化を評価するための手法を開発すること。
• ニューラルネットワークが、使用に基づく構造主義的視点から、語彙と文法の境界を曖昧にする形で、人間の言語習得に類似した文法的生産性を模倣できるかどうかを検証すること。
• トレーニングの経過とともに、モデルが生成する言語の分布的パターンがどのように変化するかを評価すること。これには、入力空間と出力空間における「接続部（catenae）」間のコサイン類似度を用いる。

提案手法

• CHILDESの300万語にのぼる子供向け英語のサブセットを、vanillaな文字レベルLSTMでトレーニングする。
• トレーニングの複数のエポックでテキストサンプル（「ばいばい」）を生成し、言語の進化を追跡する。
• 依存構文解析を用いて、入力および生成出力の両方から「接続部（catenae）」（文法的構成要素）を抽出する。
• 入力（CHILDES）とモデル生成（ばいばい）の分布間のコサイン類似度を計算し、分布的シフトを定量化する。
• コサイン類似度の時間的シフトを、3つのグループ（負のシフト、中程度のシフト、正のシフト）に分け、Dunnの多重比較検定を適用する。
• 分布的意味論を用いて、形と意味のペアを「構成（constructions）」としてモデル化し、語彙的、部分的、または文法的単位をすべて構成語彙（constructicon）内での同等の単位として扱う。

実験結果

リサーチクエスチョン

• RQ1 文字レベルLSTMが、限られた子供向けの入力データでトレーニングされた場合、時間の経過とともに文法的構造をどの程度抽象化し、再現するのか。
• RQ2 入力言語とモデル生成言語の間の分布的類似度がどのように変化するか。この変化は、文法的抽象化をどのように示唆するか。
• RQ3 明示的な誘導的バイアスがなくても、ニューラルネットワークが人間の言語習得で観察される生産性と構成的一般化を模倣できるか。
• RQ4 異なる種類の入力データ（例：OpenSubtitles と Simple Wikipedia）は、モデルの文法的パターンの学習と一般化能力にどのように影響を与えるか。

主な発見

• モデルの生成した「ばいばい」とCHILDES入力との間の分布的類似度は、トレーニングの経過とともに顕著に向上し、高シフト接続部では平均コサイン類似度シフトが0.18に達した。
• 『you VERB you』や『we can VERB』といった接続部では、エポック5から35にかけてコサイン類似度が0.49から0.74に上昇し、入力パターンとの整合性が高まっていることが示された。
• 『AUX hungry @cop @conj』のような語彙化されていない文法的パターンも、エポック35時点でコサイン類似度0.68で再現されており、記憶の再現を超えた抽象化が行われていることを示唆している。
• OpenSubtitlesデータは、Simple Wikipediaに比べてCHILDESとの類似度が高く、子供向け文法習得の研究に適したベンチマークであると考えられる。
• Dunnの多重比較検定により、負のグループと正のグループの両方で類似度のシフトが統計的に有意（p < 0.05）であることが確認された。それぞれp値は6.83e-06および4.15e-29であり、観察された傾向の堅牢性が裏付けられた。
• 『what @advmod VERB』のような語彙化されていない構成への一般化能力がモデルに認められ、生産的な能力の出現を示しており、RNNにおける構成的一般化の仮説を支持する。