[論文レビュー] The Google Similarity Distance

Rudi Cilibrasi, Paul Vitányi|ArXiv.org|Dec 21, 2004

Computability, Logic, AI Algorithms参考文献 23被引用数 27

ひとこと要約

本稿では、Googleのページヒット数を文脈的共起の代理指標として用いることで、パラメータフリーな語句間の意味的類似度を測定するGoogle類似距離（GSD）を提案する。コルモゴロフ複雑性と正規化情報距離の原則を活用することで、GSDはクラスタリング、分類、翻訳のタスクにおいて高い正確性を達成し、ランダム化されたSVMベースの分類テストにおいて、WordNetのカテゴリと平均87％の一致を示した。

ABSTRACT

Words and phrases acquire meaning from the way they are used in society, from their relative semantics to other words and phrases. For computers the equivalent of `society' is `database,' and the equivalent of `use' is `way to search the database.' We present a new theory of similarity between words and phrases based on information distance and Kolmogorov complexity. To fix thoughts we use the world-wide-web as database, and Google as search engine. The method is also applicable to other search engines and databases. This theory is then applied to construct a method to automatically extract similarity, the Google similarity distance, of words and phrases from the world-wide-web using Google page counts. The world-wide-web is the largest database on earth, and the context information entered by millions of independent users averages out to provide automatic semantics of useful quality. We give applications in hierarchical clustering, classification, and language translation. We give examples to distinguish between colors and numbers, cluster names of paintings by 17th century Dutch masters and names of books by English novelists, the ability to understand emergencies, and primes, and we demonstrate the ability to do a simple automatic English-Spanish translation. Finally, we use the WordNet database as an objective baseline against which to judge the performance of our method. We conduct a massive randomized trial in binary classification using support vector machines to learn categories based on our Google distance, resulting in an a mean agreement of 87% with the expert crafted WordNet categories.

研究の動機と目的

• 手作業で作成された知識ベースに依存せずに、語や語句間の意味的類似度を測定する普遍的でパラメータフリーな手法の開発。
• 特にGoogleのページカウント推定値を用いて、検索エンジンのクエリ結果を通じて表現される世界規模のウェブに埋め込まれた集合的で暗黙の意味的知識を活用すること。
• 大規模で低品質なウェブコンテンツから相対的な意味的関係を自動で発見するスケーラブルな手法の構築。
• クラスタリング、分類、自動翻訳などの応用分野における手法の有効性の実証。
• WordNet や LSA のようなリソース集約的な意味的モデルに代わる、計算的に現実的な代替手段を提供すること。

提案手法

• 本手法は、個々の検索キーワードおよびその組み合わせのGoogleページヒット数を用いて、正規化Google距離（NGD）を推定する。NGDは、正規化情報距離（NID）の変種である。
• コルモゴロフ複雑性と情報距離の理論的枠組みを応用し、ウェブ検索結果における共起頻度を通じて意味的類似度を近似する。
• Google類似距離（GSD）はNGD式から導出され、ページカウントの対数変換を用いて、語群のペア間の正規化され、対称的な類似度差異測定値を計算する。
• 本手法はウェブページの直接解析を避けて、集計されたページカウントのみに依存するため、大規模な意味的発見にスケーラブルかつ実用的である。
• 本手法は、SVMを用いた大規模なランダム化二値分類実験を通じて検証され、GSDに基づく予測と専門家ラベルのWordNetカテゴリとの比較がなされた。
• 本手法は、全ウェブに適用する際に計算的に非現実的な行列演算を必要とするLSAとは対照的に、クエリベースのサンプリングを用いる。

実験結果

リサーチクエスチョン

• RQ1 手動によるラベル付けなしに、集計されたウェブ検索統計から語句間の意味的類似度を信頼性高く推定できるか？
• RQ2 Google類似距離は、WordNet のような確立された意味的データベースと比較して、どの程度正確か？
• RQ3 この手法は、階層的クラスタリング、分類、言語翻訳などのタスクに有効に機能するか？
• RQ4 全ウェブの文脈において、LSAのような行列ベースの手法と比較して、Googleベースのアプローチはスケーラブルで現実的か？
• RQ5 パラメータフリーで圧縮に基づく類似度メトリックは、検索エンジンクエリを介して実世界のウェブデータに適用した場合、どの程度のパフォーマンスを示すか？

主な発見

• Google類似距離（GSD）は、SVMを用いた大規模なランダム化二値分類実験において、専門家が作成したWordNetカテゴリと平均87％の一致を達成した。
• 本手法は、色と数字といった意味的に異なるカテゴリを明確に区別でき、17世紀のオランダ風景画の巨匠たちの作品名や、英語小説家の書いた本を正しくクラスタリングできた。
• 本手法は、緊急事態関連用語の意味的文脈を理解し、共起パターンに基づいて素数のような数学的概念を識別する能力を示した。
• 本手法は、ウェブベースの類似度メトリクスを用いて、語群のペアの意味的類似度を特定することで、簡単な自動英語-スペイン語翻訳を可能にした。
• 本手法は、周囲の頻度ベクトルに対するユークリッド距離よりも優れており、計算的に非現実的で性能も極めて悪いと判明した代替手法に比べて顕著に優れた性能を示した。
• 本手法は計算的に現実的でスケーラブルであり、LSAとは異なり、全ウェブに適用する際の必要な行列の大きさのため、計算が非現実的になるという問題を回避している。