[論文レビュー] Word forms - not just their lengths- are optimized for efficient communication

Stephan C. Meylan, Thomas L. Griffiths|arXiv (Cornell University)|Mar 5, 2017

Language and cultural evolution被引用数 43

ひとこと要約

本稿では、語の特異性—言語内での音声または文字列の出現確率が低いことを捉える、音声的情報含量（PIC）で測定される—が、語の長さよりも語の頻度をよりよく予測するものであると提唱する。13の言語における大規模コーパスとベイズ推論モデルを用いて、PICは長さをはるかに上回る頻度の変動の説明力を持つことが示され、発話の努力最小化を超えて、聴取者の処理制約が語形の最適化に寄与していることが明らかになった。

ABSTRACT

The inverse relationship between the length of a word and the frequency of its use, first identified by G.K. Zipf in 1935, is a classic empirical law that holds across a wide range of human languages. We demonstrate that length is one aspect of a much more general property of words: how distinctive they are with respect to other words in a language. Distinctiveness plays a critical role in recognizing words in fluent speech, in that it reflects the strength of potential competitors when selecting the best candidate for an ambiguous signal. Phonological information content, a measure of a word's string probability under a statistical model of a language's sound or character sequences, concisely captures distinctiveness. Examining large-scale corpora from 13 languages, we find that distinctiveness significantly outperforms word length as a predictor of frequency. This finding provides evidence that listeners' processing constraints shape fine-grained aspects of word forms across languages.

研究の動機と目的

• 語の長さを超えた語の特異性が、言語を越えて語の頻度を予測するかを調査すること。
• 語認識における認知的制約が語形の最適化を形作っているという仮説を検証すること。
• 統計的言語モデルを用いて特異性を捉える音声的情報含量（PIC）という指標を開発・検証すること。
• クロスリンガウティックコーパスを用いて、PICの予測力と語の長さを比較し、頻度の変動を説明すること。
• 特異性がZipfの長さ-頻度則を特別な場合として包含する一般的な言語的最適化の原理であることを示すこと。

提案手法

• 語認識をベイズ推論としてモデル化：P(w|s) ∝ P(w) × P(s|w)，ここでP(s|w)は語wの信号sを聴取する尤度を表す。
• 音声的情報含量（PIC）をPIC(w) = -log P(s_w)として定義し、P(s_w)は言語モデル下での語の系列の確率を表す。
• 大規模コーパスからn-gram言語モデル（文字および音素レベル）を推定し、タイプ重み付きモデルには修正Kneser-Neyスムージング、トークン重み付きモデルにはGood-Turingスムージングを適用する。
• OPUSおよびGoogle Booksの上位25,000語の語型を用いてタイプ重み付きモデルを構築し、頻度との循環的関係を回避する。
• n-gramモデルの遷移確率を用いて各語のPICを計算し、短い語のインフレーションを防ぐために開始記号は使用するが終了記号は使用しない。
• 13の言語でJupyterノートブックと独自のn-gram処理ライブラリ（ngrawk）を用いて結果を検証し、Aspellフィルタを用いて借用語および頭文字語を除外する。

実験結果

リサーチクエスチョン

• RQ1 音声的情報含量（PIC）で測定される語の特異性が、多様な言語において語の長さよりも語の頻度をよりよく予測するか？
• RQ2 語の長さを制御した状態でも、頻度と特異性の逆関係が成立するか。これにより、聴取者の処理制約が語形を形作っている可能性が示唆されるか？
• RQ3 PICがどれほど一般化された言語的最適化の原則としてZipfの長さ-頻度則を包含するか？
• RQ4 PICの予測力と語の長さを比較した場合、13の自然言語における語の頻度の分散を説明する上で、どちらが優れているか？
• RQ5 語彙的複雑さや表記の多様性を考慮しても、頻度と特異性の関係は頑健に保たれるか？

主な発見

• PICは13の言語において語の長さをはるかに上回り、頻度の変動をより多く説明する予測要因である。
• 語の長さを制御した後でも、語の頻度と特異性の逆関係が成立しており、特異性が語形最適化のより根本的な駆動要因であることが示唆される。
• 音声的情報含量（PIC）は、語の系列が言語の音声的または文字的構造においてどれほどまれであるかを測ることで、語形の診断的特徴を捉えている。
• 本研究では、特に競合語からのあいまいさの解消が必要な聴取者の処理制約が、語形の細粒度の最適化に寄与していることが確認された。
• 語形が生産の容易さだけでなく、認識の容易さを最適化するために調整されているという、聴取者中心の言語構造の説明が支持された。
• 頻度との循環的関係を回避するタイプ重み付きPICモデルは、トークン重み付きモデルよりも強固で解釈可能な相関関係を示し、研究結果の妥当性が裏付けられた。