[論文レビュー] Using Information Content to Evaluate Semantic Similarity in a Taxonomy

Philip Resnik|ArXiv.org|Nov 29, 1995

Topic Modeling参考文献 18被引用数 2,149

ひとこと要約

この論文は、ある種同型（is-a）タキソノミーにおける意味情報量に基づく語義的類似度の測度を提案し、人間の判断と比較評価し、エッジカウントや他のベースラインと比較する。エッジカウントに比べ著しく改善する一方で、制限と拡張について議論する。

ABSTRACT

This paper presents a new measure of semantic similarity in an IS-A taxonomy, based on the notion of information content. Experimental evaluation suggests that the measure performs encouragingly well (a correlation of r = 0.79 with a benchmark set of human similarity judgments, with an upper bound of r = 0.90 for human subjects performing the same task), and significantly better than the traditional edge counting approach (r = 0.66).

研究の動機と目的

• 階層タキソノミーにおける単純なエッジカウントを超えた、文脈に敏感な意味的類似性測度を動機づける。
• タキソノミー内の概念確率を用いた情報理論に基づく類似性指標を定義する。
• 人間の類似性 judgments に対して指標を評価し、ベースライン法と比較する。

提案手法

• コーパス頻度に基づく各概念 c に対する確率関数 p(c) を用いてタキソノミーを拡張する。
• 情報量を -log p(c) とし、2つの概念の共通上位概念の最大情報量を類似度とする（語も同様に適用）。
• 語については、s(w1) の全ての意味対 w1, w2 in s(w2) の組み合わせを最大化して類似度を計算する。
• 人間の判断との相関を評価指標として、エッジベースの類似度および p(c) ベースの類似度と比較する。

実験結果

リサーチクエスチョン

• RQ1 is-a タキソノミーにおける情報量ベースの意味的類似度測度は、語の類似性に関する人間の判断と相関するか？
• RQ2 情報量法はエッジ数カウントや他のベースラインと比較して性能はどうか？
• RQ3 単一意味の最大情報要約の限界は何であり、多意味加重アプローチはそれを緩和できるか？

主な発見

類似度手法	相関
Human judgments (replication)	r=0.9015
Information content	r=0.7911
Probability	r=0.6671
Edge counting	r=0.6645

• 情報量ベースの類似度は人間の判断と0.7911の相関を達成し、エッジカウントの0.6645および p(c) ベースの類似度の0.6671より上回る。
• エッジカウントは情報量アプローチと比較して人間の判断と大幅に整合性が低い。
• 人間を用いた再現実験では、同じ課題を実施した人間での上限相関は約0.90を示した。
• 指摘された限界は不適切な意味での高い類似度（spuriously high similarity）であり、複数意味重み付け拡張（式8）を動機づける。