[論文レビュー] Zipf's law is a consequence of coherent language production

Jake Ryland Williams, James P. Bagrow+4 more|arXiv (Cornell University)|Jan 29, 2016

Natural Language Processing Techniques参考文献 1被引用数 7

ひとこと要約

この論文は、自然言語におけるジフの法則がランダムプロセスではなく、一貫性がありトピックが均質な言語生成から生じることを提案する。語レベルのトークン化の代わりに、熟練者によるアノテーションが施されたフレーズ分割を用いることで、著者たちはフレーズベースのテキスト表現がシモンの言語生成確率的モデルにさらに適合することを示した。これにより、決定係数R²の適合度が著しく向上（最大0.95）し、特に辞書以外のトピックが均質なテキストがジフの法則に強く従うことが明らかになった。

ABSTRACT

The task of text segmentation may be undertaken at many levels in text analysis---paragraphs, sentences, words, or even letters. Here, we focus on a relatively fine scale of segmentation, hypothesizing it to be in accord with a stochastic model of language generation, as the smallest scale where independent units of meaning are produced. Our goals in this letter include the development of methods for the segmentation of these minimal independent units, which produce feature-representations of texts that align with the independence assumption of the bag-of-terms model, commonly used for prediction and classification in computational text analysis. We also propose the measurement of texts' association (with respect to realized segmentations) to the model of language generation. We find (1) that our segmentations of phrases exhibit much better associations to the generation model than words and (2), that texts which are well fit are generally topically homogeneous. Because our generative model produces Zipf's law, our study further suggests that Zipf's law may be a consequence of homogeneity in language production.

研究の動機と目的

• 自然言語におけるジフの法則が、ランダムプロセスではなく、一貫性がありトピックが均質な言語生成の結果であるかどうかを調査すること。
• 語レベルのトークン化の代わりに、熟練者によるアノテーションが施されたフレーズ分割を用いることで、テキスト表現のシモン言語生成モデルへの適合度を向上させること。
• テキストの分割が生成的言語モデルとどの程度整合するかを測る手法を開発し、モデル適合度の指標としてR²を用いること。
• フレーズベースの分析が、計算的テキスト解析におけるbag-of-termsモデルの仮定をよりよく満たし、解釈可能性を向上させることを示すこと。
• 特に異質または短い作品など、モデルに適合しないテキストタイプを特定し、適合度の悪さをトピック的整合性の欠如と関連付けること。

提案手法

• ウィクショナリーとMWEベンチマークからの熟練者アノテーションデータをもとに、ボンドブレイク確率を設定した確率的テキスト分割フレームワークを用い、テキストをフレーズに分割する。
• メモリレスで頻度に比例する語の生成を行うシモンモデル（記憶のない、頻度に比例する語生成）を生成モデルとして用い、実際のテキストが理論的分布にどの程度適合するかをテストする。
• 観測されたフレーズ頻度とシモンモデルが予測する分布との間にR²を測定し、均一な（q=1/2）および最適化された（MLP）分割戦略を比較する。
• トレーニングデータから最適な分割パラメータを学習するための機械学習パイプライン（MLP）を用い、均一なランダム分割よりも適合度を向上させる。
• 図書館のコンゴス分類および主題別に、プロジェクト・グーテンベルクの電子書籍を分析し、テキストタイプごとのモデル適合度（R²）の変動を評価する。
• 11言語をサポートする公開のPythonパッケージ（https://github.com/jakerylandwilliams/partitioner）と、探索用のインタラクティブオンライン付録を開発した。

実験結果

リサーチクエスチョン

• RQ1 熟練者によるフレーズ分割は、語レベルのトークン化と比較して、テキスト周波数分布のシモンモデルへの適合度を向上させるか？
• RQ2 自然言語におけるジフの法則が、一貫性のあるトピックが均質な言語生成の結果であるという仮説（一貫性のあるテキストでモデル適合度が向上するという観察から）は妥当か？
• RQ3 辞書、教科書、詩、小説など、異なるテキストタイプにおける、シモンモデルへの適合度（R²）はどのように変動するか？
• RQ4 シモンモデルへの適合度（R²）は、トピックの均質性や文書の一貫性の指標として機能するか？
• RQ5 短い、異質的、または混合コンテンツのテキストは、bag-of-termsモデルの仮定およびシモン生成プロセスの前提をどの程度満たさないか？

主な発見

• 熟練者によるフレーズ分割により、テキスト周波数分布のシモンモデルへの適合度が著しく向上し、R²値は最大0.95に達した。これは語レベル分析の結果と比べて顕著に優れている。
• トピックが均質なテキスト（医療、法律、軍事科学書など）は高いR²値（中央値 > 0.6）を示すが、異質なテキスト（辞書、定期誌）は適合度が低い（R² < 0.6）。
• 詩、短編小説、SF作品は、短さと標準的でないフレーズ使用のため、R²値が低く、分布的パターンの安定化が不十分であることを示している。
• モデル適合度（R²）は文書の一貫性と強く相関しており、明確なトピック境界や一貫したテーマを持つテキストは、シモンモデルとよりよく一致する。
• 辞書やスペルブックは、常に適合度が最も悪く、R²値が低い。これは、bag-of-termsベースの解析に不適切であることを確認している。
• MLP最適化分割法は、ほぼすべてのケースで均一なランダム分割（q=1/2）を上回る性能を示し、ヒューリスティック手法よりもデータ駆動の分割が有効であることを示している。