[論文レビュー] Google distance between words

Bjørn Kjos-Hanssen, Alberto J. Evangelista|arXiv (Cornell University)|Jan 27, 2009

Computability, Logic, AI Algorithms参考文献 2被引用数 15

ひとこと要約

この論文は、CilibrasiとVitányiの正規化グーグル距離（NGD）に、距離空間の基本的性質である三角不等式を満たさないという深刻な欠陥があることを示している。グーグル検索頻度の実証データとシミュレーテッド・アニーリングを用いて、例えば「Rolling Stones」「Beatles」「salmonflies」のような例で、NGDが三角不等式を満たさないことを実証し、NGDが意味的類似度応用における真の距離尺度としての有効性を揺るがしている。

ABSTRACT

Cilibrasi and Vitanyi have demonstrated that it is possible to extract the meaning of words from the world-wide web. To achieve this, they rely on the number of webpages that are found through a Google search containing a given word and they associate the page count to the probability that the word appears on a webpage. Thus, conditional probabilities allow them to correlate one word with another word's meaning. Furthermore, they have developed a similarity distance function that gauges how closely related a pair of words is. We present a specific counterexample to the triangle inequality for this similarity distance function.

研究の動機と目的

• 正規化グーグル距離（NGD）が語の類似度の尺度として理論的・実証的に有効であるかを評価すること。
• NGDが距離関数に必須とされる三角不等式を満たすかどうかを調査すること。
• 実世界のウェブ検索データを用いて、NGDが三角不等式を満たさない反例を同定・検証すること。
• NGDのこのような違反が、NGDの実用的応用においてどれほど頻発するかを評価すること。
• グローバルコーパスサイズMに依存しない、三角不等式を満たすより頑健な代替尺度を提案すること。

提案手法

• 著者らは標準的な公式を用いてNGDを計算した：NGD(x,y) = [max{log f(x), log f(y)} - log f(x,y)] / [log M - min{log f(x), log f(y)}]、ここでf(x)は語xのグーグル検索ヒット数、Mはインデックス済みのWebページ総数である。
• 三角不等式の検証には、三角差TD = NGD(x,y) + NGD(y,z) - NGD(x,z)を用い、三角不等式が成立する場合、TD ≥ 0 となることを期待した。
• 実証的評価は、ランダム語と「Rolling Stones」「Beatles」「salmonflies」のようなテーマ別語群を含む複数の語の集合に対して実施され、違反の検出がなされた。
• シミュレーテッド・アニーリングアルゴリズムを用いて、語のトリプル内の語を繰り返し置き換え、NGDの違反を発見するための探索が行われた。
• 著者らはNGDと、三角不等式を満たすことが証明された代替尺度である、正規化対称集合差分尺度d(A,B) = P(Ā ∪ B̄ | A ∪ B)を比較した。
• 二項分布モデルを用い、n=50のサンプルとX=0件の違反観測値を基に、違反率の上界を信頼区間で推定した。

実験結果

リサーチクエスチョン

• RQ1 正規化グーグル距離（NGD）は実際の応用において三角不等式を満たすか？
• RQ2 ウェブ検索データから抽出された実世界の語トリプルにおいて、NGDの違反はどの程度の頻度で発生するか？
• RQ3 検索頻度データを用いて、NGDにおける三角不等式の反例を体系的に同定できるか？
• RQ4 NGDが三角不等式を満たさないという事実が、意味的類似度およびNLP応用分野におけるNGDの使用に与える影響は何か？
• RQ5 グローバルコーパスサイズMに依存しないが、三角不等式を満たすより頑健な尺度を構築できるか？

主な発見

• NGD距離尺度は、三角不等式を満たさないことが反例によって実証された。具体的には、「Rolling Stones」「Beatles」「salmonflies」の語の組み合わせにおいて、NGD(Rolling Stones, salmonflies) = 1.06 > NGD(Rolling Stones, Beatles) + NGD(Beatles, salmonflies) = 0.23 + 0.81 = 1.04 である。
• 著者らは、語のトリプル内の語を置き換えることで違反を発見するシミュレーテッド・アニーリングの手法を用い、このような失敗がランダムな異常ではなく、体系的に存在することを確認した。
• COCAコーパスから抽出した50組のトリプルを用いた分析から、NGDの違反は約200組に1組の頻度で発生すると推定され、違反確率の95％信頼区間上界はp ≤ 1/16であった。
• 複数の語の集合におけるNGDの期待値は約0.73、標準偏差は0.14であった。これは、NGDの理論的導出で仮定されているように、語のペアが独立でないことを示唆している。
• 正規化対称集合差分尺度d(A,B) = P(Ā ∪ B̄ | A ∪ B)は三角不等式を満たすことが示され、グローバルコーパスサイズMを必要としないため、理論的により妥当な代替手段である。
• COCAから抽出した10組のトリプルの実証的分析では、特定の問題例が明らかになった。例えば「burnished」と「growth」が併記された検索結果数が、単独での「burnished」より多いという非単調な共起パターンが観察された。