[論文レビュー] The advent and fall of a vocabulary learning bias from communicative efficiency

David Carrera-Casado, Ramon Ferrer‐i‐Cancho|arXiv (Cornell University)|May 24, 2021

Speech and dialogue systems参考文献 90被引用数 8

ひとこと要約

本稿では、通信コストを最小化することで、語彙学習バイアス（未ラベル化された意味に対して新しい語を選ぶ傾向）の出現および消失を説明する一般化された情報理論的モデルを提案する。このモデルはジプフの意味頻度則を組み込み、語彙の多様性（µk）または通信効率（λ）が特定の閾値に達すると、バイアスが弱まるか消失することを示し、発達的および多言語習得的シフトを原理的かつ一貫した説明を提供する。

ABSTRACT

Biosemiosis is a process of choice-making between simultaneously alternative options. It is well-known that, when sufficiently young children encounter a new word, they tend to interpret it as pointing to a meaning that does not have a word yet in their lexicon rather than to a meaning that already has a word attached. In previous research, the strategy was shown to be optimal from an information theoretic standpoint. In that framework, interpretation is hypothesized to be driven by the minimization of a cost function: the option of least communication cost is chosen. However, the information theoretic model employed in that research neither explains the weakening of that vocabulary learning bias in older children or polylinguals nor reproduces Zipf's meaning-frequency law, namely the non-linear relationship between the number of meanings of a word and its frequency. Here we consider a generalization of the model that is channeled to reproduce that law. The analysis of the new model reveals regions of the phase space where the bias disappears consistently with the weakening or loss of the bias in older children or polylinguals. The model is abstract enough to support future research on other levels of life that are relevant to biosemiotics. In the deep learning era, the model is a transparent low-dimensional tool for future experimental research and illustrates the predictive power of a theoretical framework originally designed to shed light on the origins of Zipf's rank-frequency law.

研究の動機と目的

• 年齢をとる子どもや多言語話者において、相互排他的バイアス（未ラベル化された意味に対して新しい語を選ぶ傾向）がなぜ弱まるのかを説明すること。
• 現実の言語データが示すジプフの意味頻度則を再現できるように、情報理論フレームワークを拡張すること。
• 通信効率に基づいて、語彙学習バイアスがいつ出現または消滅するかを予測できる、透明性が高く次元が低いモデルを提供すること。
• 生物学的および人工的システムにおける学習プロセスにおける符号選択を、バイオセミoticsの原則と情報理論を統合してモデル化すること。

提案手法

• 語と意味の関連を二部グラフとして形式化し、形態と意味をノードとして接続する。
• 情報理論に基づくコスト関数を導入し、相互情報量の最大化と驚異度の最小化によって通信コストを最小化する。
• 従来のモデルを一般化し、通信効率（λ）および語彙多様性（µk）のパラメータを導入することで、ジプフの意味頻度則を再現可能にする。
• 数値シミュレーションと位相空間解析を用いて、語彙学習バイアスが有利であるか、あるいは存在しない領域を探索する。
• 戦略a（未ラベル化された意味に新しい語を割り当てる）が最適であるか、あるいは放棄される条件をモデル化して予測する。
• 既知の発達的パターンおよび言語法（省略則やメンツェラースの法則を含む）と照合して予測を検証する。

実験結果

リサーチクエスチョン

• RQ1 年齢をとる子どもや多言語話者において、語彙学習バイアス（未ラベル化された意味に対して新しい語を選ぶ傾向）はどのような条件下で消失するか？
• RQ2 情報理論的モデルは、語の頻度と意味の数の関係を示すジプフの意味頻度則をどのように再現できるか？
• RQ3 語彙多様性（µk）および通信効率（λ）は、相互排他的バイアスの出現または抑制にどのような役割を果たすか？
• RQ4 透明性が高く次元が低いモデルは、発達的あるいは多言語習得の文脈で語彙学習バイアスの弱体化を予測できるか？
• RQ5 モデルがバイアスの低下を予測する内容は、子供の言語習得や成人の語彙学習に関する実証データと整合するか？

主な発見

• 本モデルは、通信効率（λ）および語彙多様性（µk）のパラメータを導入することで、ジプフの意味頻度則を成功裏に再現した。
• 位相空間には、語彙学習バイアスが一貫して存在しない領域が存在し、これは高水準のµkまたは低水準のλに対応しており、バイアスの発達的弱体化と整合的である。
• nとαが類似する子どもでは、λが低くµkが高い、またはλが高くµkが十分に低い場合に、バイアスが消失すると予測される。
• シミュレーションのヒートマップに安定した赤色の水平帯が現れるのは、µkの特定の範囲内でバイアスが依然として有利であることを示し、個々の学習者において観察可能なバイアスの期間を示唆する。
• 本モデルは、語彙多様性が増加するか、通信効率が低下する際にバイアスが弱体化または消失すると予測し、観察された発達的シフトの機構的説明を提供する。
• 本フレームワークは検証可能な予測を提供する：子供や成人を対象とした制御実験でµkを変化させると、相互排他的バイアスの強度が変化すると予測され、モデルの核心的仮定が確認される。