[論文レビュー] The effect of linguistic constraints on the large scale organization of language

M. V. Rama Krishna, Ahmed Hassan Awadallah+2 more|arXiv (Cornell University)|Feb 14, 2011

Natural Language Processing Techniques参考文献 18被引用数 4

ひとこと要約

本稿は、英語、フランス語、スペイン語、中国語の4言語にわたり、自然テキストとランダム化テキストの両方から構築された言語ネットワークを比較することで、言語的制約が言語ネットワークの大規模トポロジーにどのように影響するかを調査している。ランダム化テキストですら、語の頻度分布のおかげで小世界的・スケールフリーネットワークの性質を示すことが判明した。これは、こうした構造が言語的組織の本質的反映であるという仮定に疑問を呈する。主な貢献は、多くのネットワーク統計が言語的構造ではなく、下位の頻度分布に起因するアーティファクトであることを示したことにある。

ABSTRACT

This paper studies the effect of linguistic constraints on the large scale organization of language. It describes the properties of linguistic networks built using texts of written language with the words randomized. These properties are compared to those obtained for a network built over the text in natural order. It is observed that the "random" networks too exhibit small-world and scale-free characteristics. They also show a high degree of clustering. This is indeed a surprising result - one that has not been addressed adequately in the literature. We hypothesize that many of the network statistics reported here studied are in fact functions of the distribution of the underlying data from which the network is built and may not be indicative of the nature of the concerned network.

研究の動機と目的

• 言語的制約が言語ネットワークの大規模トポロジー的組織に与える影響を調査すること。
• 言語ネットワークに見られる小世界的・スケールフリー特性が、言語的構造に起因するのか、語の頻度の統計的アーティファクトに起因するのかを特定すること。
• 自然テキスト、ランダム化テキスト、さまざまな言語的制約レベルの間でネットワーク特性を比較すること。
• 語の頻度がクラスタリング、次数分布、相関性といったネットワーク統計をどのように形作るかを評価すること。
• ネットワーク特性（直径、クラスタリング係数など）が次数分布の関数であるのか、言語的構造の関数であるのかを評価すること。

提案手法

• 英語、フランス語、スペイン語、中国語のテキストから共起関係および頻出ビグラム（語の連接）関係を用いて言語ネットワークを構築した。
• 語の頻度を保持したままテキストをランダムに並び替える一様ランダム順列アルゴリズムを適用し、ランダム化されたコーパスを作成した。
• 頻出ビグラムネットワークの有意な語のペアを特定するためにフィッシャーの正確確率検定を用いた。
• 次数分布を保持するネットワークランダマイゼーション技術を用いて、語の順序の影響を隔離した。
• 表層形の多様性を減らし、言語間比較の整合性を高めるために語の原形化を行った。
• 次数分布、クラスタリング係数、直径、次数相関（相関性）といったネットワーク特性を分析した。

実験結果

リサーチクエスチョン

• RQ1 ランダム化テキストでも、小世界的・スケールフリー特性を持つネットワークが生成されるか？
• RQ2 クラスタリングや直径といったネットワーク統計が、言語的構造ではなく語の頻度分布にどれほど依存しているのか？
• RQ3 テキストのランダマイゼーションが、言語ネットワークの次数分布および相関性にどのように影響するか？
• RQ4 言語ネットワークのハブは、ランダム化テキストでさえも主に語の頻度によって決定されるのか？
• RQ5 自然言語ネットワークで観察されるネットワーク特性は、語の頻度の統計的性質だけで説明可能か？

主な発見

• ランダム化テキストネットワークは小世界的・スケールフリー特性を示しており、これらが自然言語に特有のものではないことを示している。
• ランダム化ネットワークにおけるクラスタリング係数（例：英語 RANDOC で 0.6345）は依然として高い水準を維持しており、クラスタリングが言語的構造ではなく頻度分布に起因していることを示唆している。
• 実際のネットワークとランダム化ネットワークの両方で次数分布がパワー則に従い、R² = 0.89（両者で同一）であるため、語の頻度と次数の間に強い相関があることが示された。
• 正規化された平均近隣次数は、頂点の次数が増加するにつれて減少しており、すべてのネットワーク（ランダム化を含む）で非同調的混合が確認された。
• 英語ネットワークにおける次数が上位10位の語（例：'the', 'of', 'and'）は、上位10位の頻出語とよく一致しており、頻度駆動型のハブ形成が確認された。
• ランダム化ネットワークにおけるネットワークの直径とクラスタリング係数は、言語的制約ではなく次数分布に強く影響を受けており、言語的構造とは無関係であることが示された。