[論文レビュー] Human languages order information efficiently

Daniel Gildea, T. Florian Jaeger|arXiv (Cornell University)|Oct 9, 2015

Language and cultural evolution参考文献 60被引用数 9

ひとこと要約

本研究では、モンテカルロシミュレーションを用いて、人間の言語が処理効率を高める語順パターンを示しているかどうかを5つの言語で検証した。自然言語は、ランダムな順列と比較して、依存関係の長さと情報密度を顕著に短縮していることが判明し、処理効率のバイアスが言語の句構造進化に影響を与えていることを示している。

ABSTRACT

Most languages use the relative order between words to encode meaning relations. Languages differ, however, in what orders they use and how these orders are mapped onto different meanings. We test the hypothesis that, despite these differences, human languages might constitute different `solutions' to common pressures of language use. Using Monte Carlo simulations over data from five languages, we find that their word orders are efficient for processing in terms of both dependency length and local lexical probability. This suggests that biases originating in how the brain understands language strongly constrain how human languages change over generations.

研究の動機と目的

• 自然言語の語順が、偶然に期待されるよりも処理に効率的であるかどうかを検証すること。
• 処理効率のバイアスが、時間の経過とともに言語の変化に影響を与えているかどうかを調査すること。
• 依存関係の長さと情報密度を主な指標として用いて、人間の言語における文法的語順が認知的処理に最適化されているかどうかを評価すること。
• 異なる文法的構造を持つ言語間で、これらの処理上の利点が一貫しているかどうかを評価すること。
• 言語の変化が言語理解と生産に関連する認知的制約によって形作られているという計算的証拠を提供すること。

提案手法

• 英語、ドイツ語、フランス語、スペイン語、日本語の5言語の大型構文コーパスを用い、依存関係と語レベルの情報密度を抽出した。
• モンテカルロシミュレーションを適用し、各言語について数千のランダムな語順順列を生成して、依存関係の長さと情報密度の確率的ベースラインを確立した。
• 実際の言語の平均依存関係の長さと情報密度を、ランダム順列からの分布と比較し、処理効率を評価した。
• 研究2では、一定の主語の位置を保つ制約のもとで、最小の依存関係の長さと情報密度を満たす語順を最適化し、「最適」な言語をシミュレートした。
• 統計的検定を用いて、実際の言語における観察された処理効率が、偶然の水準を顕著に上回っているかどうかを判断した。
• 標準化された構文アノテーション（例：スタンフォードの依存構文解析器）を用い、情報密度を1語あたりに正規化することで、言語間の差異を補正した。

実験結果

リサーチクエスチョン

• RQ1 自然言語は、偶然に期待されるよりも、依存関係の長さと情報密度を低減する語順パターンを示しているか？
• RQ2 処理効率の指標としての依存関係の長さと情報密度が、実際の人間の言語でどの程度共変しているか？
• RQ3 自然言語における観察された処理効率は、ランダムな語順バージョンと比較して顕著に高いか？
• RQ4 認知的および構造的制約を考慮した場合、実際の言語は理論上の最適値にどの程度近づいているか？
• RQ5 処理効率のバイアスは、多様な文法的システムを有する言語間でも、長期的な言語変化に寄与しているか？

主な発見

• 英語、ドイツ語、フランス語、スペイン語、日本語を含む本研究の自然言語では、ランダム順列に比べて平均依存関係の長さが顕著に短く、処理効率の向上が示された。
• 全言語の平均情報密度も、ランダム順列よりも顕著に低く、理解時の認知的負荷が軽減されていることを示唆している。
• 実際の言語では、依存関係の長さと情報密度の両方の最適化が、ランダム順列よりも統計的に有意に優れており、言語進化における処理バイアスの仮説を支持している。
• シミュレーションにより、実際の言語は処理効率において最適ではないが、偶然よりも著しく優れていることが示され、より簡単な処理に向かう持続的なバイアスがあることが示された。
• 主語の位置の一定性や言語間の差異を補正した後でも結果は維持され、処理効率が文法的構造の強力な駆動要因であることが示された。
• 本研究は、処理効率が人間の言語における語順の構造を形作る主要因であるという、大規模かつ多言語にわたる最初の証拠を提供した。