[論文レビュー] A Comparison of WordNet and Roget's Taxonomy for Measuring Semantic Similarity

Michael Mc Hale|arXiv (Cornell University)|Jan 1, 1998

Natural Language Processing Techniques参考文献 8被引用数 22

ひとこと要約

本稿では、語の類似度を測定するための意味的分類体系としてロジットの国際形式語源を評価し、4つの既存のメトリクスを適用して意味的関連性を評価している。その結果、ロジット語源の従来のエッジカウント法が、人間の判断と相関係数 r=0.88 という高い相関を示し、人間の上限である r=0.90 に近い結果を得た。

ABSTRACT

This paper presents the results of using Roget's International Thesaurus as the taxonomy in a semantic similarity measurement task. Four similarity metrics were taken from the literature and applied to Roget's The experimental evaluation suggests that the traditional edge counting approach does surprisingly well (a correlation of r=0.88 with a benchmark set of human similarity judgements, with an upper bound of r=0.90 for human subjects performing the same task.)

研究の動機と目的

• 語の類似度測定におけるワードネットの代替としてロジットの国際形式語源を評価すること。
• ロジット語源に適用された4つの既存の類似度メトリクスの性能を評価すること。
• ロジット語源における従来のエッジカウント法が、人間の意味的判断とどの程度一致するかを特定すること。
• 人間がアノテートした類似度判断を用いて、ロジットベースの語の類似度測定のベンチマークを確立すること。

提案手法

• 文献に登場する4つの意味的類似度メトリクスを、基礎となる分類体系としてロジットの国際形式語源に適用した。
• 分類体系の構造を用いて語のペア間のパス長を計算し、エッジカウント類似度の基礎を形成した。
• ロジットの階層的構造における概念間の最短パスに基づいて類似度スコアを算出した。
• 評価と相関分析のために、標準的な人間による類似度判断のベンチマークセットを用いた。
• システムの類似度スコアと人間の判断を比較するためにピアソンの積率相関係数を計算した。

実験結果

リサーチクエスチョン

• RQ1 ロジット語源は語の類似度測定においてワードネットと比べてどうか？
• RQ2 ロジット語源にエッジカウント法を適用した場合の性能はいかほどか？
• RQ3 ロジット語源におけるエッジカウント法は、同じタスクを人間が行った場合の性能にどの程度近いか？
• RQ4 ロジット語源は語の類似度タスクにおけるワードネットの実用的代替として成立するか？

主な発見

• ロジット語源におけるエッジカウント法は、人間の類似度判断と相関係数 r=0.88 を示した。
• この性能は、同じタスクを実行した人間被験者で観察された上限 r=0.90 に極めて近い。
• 結果から、ロジット語源は意味的類似度測定の強力な候補であり、既存のワードネットベースのアプローチと並ぶ可能性があることが示された。
• 従来のエッジカウント法は、その単純さを考慮すると、ロジット語源において驚くべきほど良好な性能を発揮しており、予想を上回る結果となった。