[论文解读] Google distance between words

Bjørn Kjos-Hanssen, Alberto J. Evangelista|arXiv (Cornell University)|Jan 27, 2009

Computability, Logic, AI Algorithms参考文献 2被引用 15

一句话总结

本文通過實證數據與模擬退火法，揭示了Cilibrasi與Vitányi提出的歸一化谷歌距離（NGD）存在一個關鍵缺陷：違反三角不等式——這是一種度量空間的基礎性質。作者以谷歌搜尋頻率數據為基礎，提出反例（如「Rolling Stones」、「Beatles」、「salmonflies」），顯示NGD在某些情況下不滿足三角不等式，從而質疑NGD在語義相似度應用中作為真正距離度量的有效性。

ABSTRACT

Cilibrasi and Vitanyi have demonstrated that it is possible to extract the meaning of words from the world-wide web. To achieve this, they rely on the number of webpages that are found through a Google search containing a given word and they associate the page count to the probability that the word appears on a webpage. Thus, conditional probabilities allow them to correlate one word with another word's meaning. Furthermore, they have developed a similarity distance function that gauges how closely related a pair of words is. We present a specific counterexample to the triangle inequality for this similarity distance function.

研究动机与目标

• 評估歸一化谷歌距離（NGD）作為詞語相似度度量的理論與實證有效性。
• 研究NGD是否滿足三角不等式，這是一種距離函數的關鍵要求。
• 利用現實世界網路搜尋數據，識別並驗證NGD違反三角不等式的反例。
• 評估NGD在實際應用中違反三角不等式的頻率及其影響。
• 提出一種更穩健的替代度量，其滿足三角不等式，且不依賴於固定語料庫大小M。

提出的方法

• 作者使用標準公式計算NGD：NGD(x,y) = [max{log f(x), log f(y)} - log f(x,y)] / [log M - min{log f(x), log f(y)}]，其中f(x)為詞x在谷歌搜尋中的命中次數，M為已索引網頁總數。
• 透過三角差值TD = NGD(x,y) + NGD(y,z) - NGD(x,z)測試三角不等式，若三角不等式成立則預期TD ≥ 0。
• 在多組詞語（包括隨機詞語與主題性組合，如「Rolling Stones」、「Beatles」、「salmonflies」）上進行實證評估，以檢測違反情況。
• 使用模擬退火演算法，透過迭代替換三元組中的詞語來搜尋NGD違反的反例。
• 將NGD與另一種度量方法比較：歸一化對稱集合差異度量d(A,B) = P(Ā ∪ B̄ | A ∪ B)，該度量已被證明滿足三角不等式。
• 應用統計信賴區間估算違反率的上限，使用二項機率模型，n=50組樣本，X=0次觀察到違反。

实验结果

研究问题

• RQ1 歸一化谷歌距離（NGD）在實際應用中是否滿足三角不等式？
• RQ2 NGD在從網路搜尋數據中提取的實際詞語三元組中，違反三角不等式的頻率如何？
• RQ3 能否利用搜尋頻率數據系統性地識別NGD中違反三角不等式的反例？
• RQ4 NGD無法滿足三角不等式對其在語義相似度與自然語言處理應用中使用所產生的影響為何？
• RQ5 能否構建一種更穩健的度量方法，使其滿足三角不等式且不依賴於固定語料庫大小M？

主要发现

• NGD度量不滿足三角不等式，反例顯示：在『Rolling Stones』、『Beatles』與『salmonflies』之間，NGD(Rolling Stones, salmonflies) = 1.06 > NGD(Rolling Stones, Beatles) + NGD(Beatles, salmonflies) = 0.23 + 0.81 = 1.04。
• 作者透過模擬退火方法找到反例，透過迭代替換三元組中的詞語直至發現違反，證實此類失敗非隨機異常。
• 基於COCA語料庫中50組抽樣三元組，作者估計NGD違反發生於約1/200組三元組中，違反機率的95%信賴上限為p ≤ 1/16。
• 多組詞語的NGD期望值約為0.73，標準差為0.14，顯示隨機詞語對的共現行為並非如NGD理論推導所假設的那樣獨立。
• 歸一化對稱集合差異度量d(A,B) = P(Ā ∪ B̄ | A ∪ B)被證明滿足三角不等式，且無需依賴全球語料庫大小M，因此是更具理論穩健性的替代方案。
• 對COCA語料庫中10組三元組的實證分析顯示，某些具體問題案例，如『burnished』與『growth』合併搜尋結果多於單獨搜尋，顯示共現模式存在非單調性。