[論文レビュー] Word learning and the acquisition of syntactic--semantic overhypotheses

Jon Gauthier, Roger Lévy+1 more|arXiv (Cornell University)|May 14, 2018

Language Development and Disorders参考文献 16被引用数 5

ひとこと要約

本稿では、構文と意味を同時に学ぶ計算モデルを提案する。具体的には、子供向けの会話における前置修飾語が色の性質を表す傾向があること、名詞が形状を表す傾向があるという、構文的・意味的過剰仮説を導入する。構造的確率的推論と段階的学習を統合することで、このような過剰仮説を備えないベースラインモデルよりも著しく高いデータ効率を達成し、抽象的な構文的・意味的規則性を学ぶことで語彙学習の効率が向上することを示している。

ABSTRACT

Children learning their first language face multiple problems of induction: how to learn the meanings of words, and how to build meaningful phrases from those words according to syntactic rules. We consider how children might solve these problems efficiently by solving them jointly, via a computational model that learns the syntax and semantics of multi-word utterances in a grounded reference game. We select a well-studied empirical case in which children are aware of patterns linking the syntactic and semantic properties of words --- that the properties picked out by base nouns tend to be related to shape, while prenominal adjectives tend to refer to other properties such as color. We show that children applying such inductive biases are accurately reflecting the statistics of child-directed speech, and that inducing similar biases in our computational model captures children's behavior in a classic adjective learning experiment. Our model incorporating such biases also demonstrates a clear data efficiency in learning, relative to a baseline model that learns without forming syntax-sensitive overhypotheses of word meaning. Thus solving a more complex joint inference problem may make the full problem of language acquisition easier, not harder.

研究の動機と目的

• 子供が構文的手がかり（例えば、前置修飾語としての位置）を活用して、色や形状のような意味的性質を推論することで、語彙の意味を効率的に学ぶ仕組みを調査すること。
• 子供が観察する語彙学習バイアス（例えば、新規な形容詞を色を表すと解釈すること）が、子供向け会話の統計的特徴からの合理的な推論であるかどうかを検証すること。
• 構文的・意味的過剰仮説を誘導する計算モデルを開発し、語彙学習のデータ効率を向上させること。
• 過剰仮説を用いて構文と意味の学習を同時に解くことで、言語習得がより効率的になる（むしろ難しくならない）ことを示すこと。

提案手法

• モデルは、知覚的に根ざした参照ゲームから、語彙の意味と構文的カテゴリを段階的・オンラインでベイズ推論によって学習する。
• 構造的確率的フレームワークを用い、s が構文的構造を表すときの条件付き確率 p(t= color | s= N/N) を追跡する。ここで t は意味的タイプを表す。
• 子供向け会話における統計的規則性（例えば、前置修飾語の形容詞が色を指す傾向があること）に関する事前信念を統合することで、過剰仮説を学習する。
• 過剰仮説を備えないベースラインモデルと比較することで、データ効率を評価する。
• 依存構文解析を用いて自動的にアノテートされた、発話-シーンペアの合成データセットを用いてモデルを訓練する。
• 性能は、固定されたテストセット上で各学習試行後に計算されるオンライン正答率 R と、ブートストラップ信頼区間を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 子供向け会話における新規語の構文的位置は、子供の観察される語彙学習バイアスを支持する統計的規則性を示しているか？
• RQ2 構文と意味を結ぶ過剰仮説を誘導する計算モデルは、古典的な形容詞学習実験における子供の行動を再現できるか？
• RQ3 構文的・意味的過剰仮説を誘導することは、このようなバイアスを備えないモデルと比較して、語彙学習のデータ効率を高めるか？
• RQ4 このような過剰仮説は段階的学習の過程でどの程度の速さで出現し、予測正答率にどのような影響を与えるか？

主な発見

• コーパス分析の結果、子供向け会話における前置修飾語の形容詞は、形状よりも色の性質を表す確率が著しく高い（相対頻度：60–80% 対 10–20%）ことが示され、過剰仮説の統計的根拠が裏付けられた。
• 過剰仮説モデルは、ベースラインモデルと比較して、オンライン正答率 R で最大で約11%の性能差を示し、優れたデータ効率を達成した。
• モデルの過剰仮説に関する信頼度 p(t= color | s= N/N) は、初期値の 0.5 から最初の10個の学習例以内にほぼ 1.0 に急速に強化され、学習効率の出現と整合的であった。
• 過剰仮説モデルとベースラインモデルの性能差は、時間の経過とともに拡大しており、より多くのデータが処理されるにつれて過剰仮説の利点が顕著に現れていることが示された。
• 過剰仮説のおかげで、モデルの一般化能力が向上し、構文的構造（例：名詞の前置修飾語）のみから新規語の意味を正確に予測できるようになった。
• 結果は、抽象的な構文的・意味的過剰仮説を誘導することが、効率的な言語習得の実行可能で適応的な戦略であることを確認した。