[論文レビュー] The distribution of information content in English sentences

Shuiyuan Yu, Cong Jin+2 more|arXiv (Cornell University)|Sep 24, 2016

Natural Language Processing Techniques参考文献 31被引用数 4

ひとこと要約

本研究は、実際の言語データを用いたエントロピーおよびエントロピー関連統計を用いて、英語の文における情報量の分布を分析する。その結果、初期位置では中間位置よりエントロピーが低く、中間位置では終末位置よりエントロピーが低いという三段階の段差パターンが明らかになった。これは、一様情報密度仮説および一定エントロピー率仮説に反し、文における文脈的情報処理が加法的ではなく、全体的（ホリスティック）である可能性を示唆している。

ABSTRACT

Sentence is a basic linguistic unit, however, little is known about how information content is distributed across different positions of a sentence. Based on authentic language data of English, the present study calculated the entropy and other entropy-related statistics for different sentence positions. The statistics indicate a three-step staircase-shaped distribution pattern, with entropy in the initial position lower than the medial positions (positions other than the initial and final), the medial positions lower than the final position and the medial positions showing no significant difference. The results suggest that: (1) the hypotheses of Constant Entropy Rate and Uniform Information Density do not hold for the sentence-medial positions; (2) the context of a word in a sentence should not be simply defined as all the words preceding it in the same sentence; and (3) the contextual information content in a sentence does not accumulate incrementally but follows a pattern of "the whole is greater than the sum of parts".

研究の動機と目的

• 英語の文における情報量が異なる文の位置にどのように分布しているかを調査すること。
• 文レベルにおける一様情報密度（UID）仮説および一定エントロピー率（CER）仮説の妥当性を検証すること。
• 文脈的情報が累積的に蓄積されるのか、それとも非加法的で全体的（ホリスティック）なパターンに従うのかを検討すること。
• 単語の文脈を文内の先行語のみで定義すべきかどうかを特定すること。

提案手法

• 実際のコーパスデータを用いて、英語の文における初期位置、中間位置、終末位置のエントロピーおよびエントロピー関連統計を計算した。
• 分析のために、文の位置を初期（最初の語）、中間（最初と最後を除くすべての語）、終末（最後の語）に定義した。
• 三つの位置カテゴリー間でのエントロピー値の比較にための統計的検定を実施した。
• 研究の結果の実証的妥当性を確保するため、大規模かつ現実世界の英語コーパスを用いた。
• 全文の文脈と累積的な語レベルの文脈を比較することで、文脈的情報の非加法的性質を分析した。

実験結果

リサーチクエスチョン

• RQ1 英語の文における初期、中間、終末位置に情報量はどのように分布しているか？
• RQ2 文の位置を検討した場合、一様情報密度仮説は成立するか？
• RQ3 中間文位置に対して、一定エントロピー率仮説は有効か？
• RQ4 文における文脈的情報は、先行語からの累積的に蓄積されるか？
• RQ5 全文の文脈的情報は、個々の語レベルの文脈の合計をどれほど上回るか？

主な発見

• 初期位置のエントロピーは中間位置よりも顕著に低く、文の開始部における情報量が低いことを示している。
• 中間位置のエントロピーは終末位置よりも低く、最後の語がより高い情報量を含んでいることを示している。
• 中間位置間でエントロピーの差が有意でないことから、文の途中部では一貫した情報密度が保たれていると示唆される。
• 研究結果は、文の中間位置において、一様情報密度仮説および一定エントロピー率仮説が成立しないことを示している。
• 文脈的情報量は累積的に蓄積されるのではなく、「全体は部分の合計より大きい」というパターンに従っており、非加法的処理が行われていると示唆されている。