[論文レビュー] A Semantic Relatedness Measure Based on Combined Encyclopedic, Ontological and Collocational Knowledge

Yannis Haralambous, Vitaly Klyuev|arXiv (Cornell University)|Jul 24, 2011

Natural Language Processing Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、Wikipediaに基づく明示的意味解析（ESA）、WordNetに基づくパス類似度、および混合コロケーションインデックスを統合することで、意味的関連性タスクの性能を向上させる、新しい意味的関連性測定法を提案する。統合手法はWS-353ベンチマーク上でスピアマンのrho 0.79を達成し、先行する最先端手法を上回る。さらに多様な知識源の統合が意味的類似度モデリングにおいて有効であることを示している。多項式SVM分類器を用いて強化した場合、rhoは0.87に上昇し、これは以前の最高記録0.78を上回る。

ABSTRACT

We describe a new semantic relatedness measure combining the Wikipedia-based Explicit Semantic Analysis measure, the WordNet path measure and the mixed collocation index. Our measure achieves the currently highest results on the WS-353 test: a Spearman rho coefficient of 0.79 (vs. 0.75 in (Gabrilovich and Markovitch, 2007)) when applying the measure directly, and a value of 0.87 (vs. 0.78 in (Agirre et al., 2009)) when using the prediction of a polynomial SVM classifier trained on our measure. In the appendix we discuss the adaptation of ESA to 2011 Wikipedia data, as well as various unsuccessful attempts to enhance ESA by filtering at word, sentence, and section level.

研究の動機と目的

• 分布的共起性を超える多様な意味的関係を捉えることができない既存の意味的関連性測定法（特にESA）の限界を是正すること。
• 意味的関連性を評価するための標準的基準であるWS-353ベンチマークでの性能向上を、複数の知識源の統合によって達成すること。
• 特に同一義語、下位関係、固定語句に関して、ESAの欠陥を、分類的および語句連接的知識の統合によって是正すること。
• 図鑑的（ESA）、分類的（WordNet）、語句連接的知識の複数源の統合が、個別のアプローチに比べて優れた性能を発揮することを示すこと。

提案手法

• tf-idf重み付き単語ベクトルを用いて2011年版WikipediaデータにExplicit Semantic Analysis（ESA）を適用し、概念をトピックベクトルとして表現し、単語ベクトル間のコサイン類似度を計算する。
• 分類的関連性の指標としてWordNetに基づくパス類似度（WNP）を統合し、各単語ペアについて可能なすべてのシングレットペアの類似度の最大値を用いる。
• 分布的統計に完全に反映されない固定語句や語句連接を捉えるために、混合コロケーションインデックスを組み込む。
• ESA、WNP、およびコロケーションインデックスの3要素を重み付き平均またはアンサンブル学習によって統合し、統一された意味的関連性スコアを生成する。
• 測定値の出力に多項式SVM分類器を訓練し、人間の判断との相関を高めるために順序付け性能をさらに最適化する。
• 2011年版WikipediaにおけるESA性能を最適化するため、最小語数およびリンク数の閾値（200語、14リンク）を用いて低品質ページをフィルタリングし、2005年の水準まで性能を回復させる。

実験結果

リサーチクエスチョン

• RQ1 図鑑的、分類的、語句連接的知識を統合することで、標準ベンチマークにおける意味的関連性の性能が著しく向上するか？
• RQ2 既存手法（例：ESA）が特定のWS-353語群ペアで失敗する理由は何か？どのような意味的関係が欠落しているのか？
• RQ3 WordNetに基づくパス測定とコロケーションインデックスは、同義語、下位関係、固定語句の捉え方において、分布的意味論をどの程度補完できるか？
• RQ4 訓練済みのSVM分類器による後処理は、統合された意味的類似度測定の順序付け品質をさらに向上させるか？
• RQ5 Wikipediaの進化（例：2005年から2011年）はESAの性能にどのような影響を及ぼし、概念フィルタリングによって是正可能か？

主な発見

• 提案された統合的意味的関連性測定法は、直接適用した場合にWS-353テストセットでスピアマンのrho 0.79を達成し、以前の最先端手法（0.75）を上回る。
• 測定値の出力に多項式SVM分類器を訓練して統合した場合、スピアマンのrhoは0.87に向上し、以前の最高記録（0.78）を上回る。
• 2011年版WikipediaデータにおけるESA性能は、概念数の増加と語彙密度の低下により一時的に0.7047に低下したが、200語未満または14本未満のインポート・エキスポートリンクを持つページをフィルタリングすることで、0.7394まで回復した。
• 語彙レベルでのレマタイゼーションおよび品詞（POS）フィルタリングは性能を低下させた（0.7194および0.7178に低下）、これはこのタスクにおいてポータースタミングがレマタイゼーションよりも効果的であることを示している。
• 文単位の重みを3倍にした場合や、セクションレベルのフィルタリング（例：「歴史」セクションの削除）は、いずれも性能を低下させた（それぞれ0.7293および0.6608に低下）、これはこのタスクにおいてこのようなフィルタリング戦略が有益でないことを示している。
• 本研究は、語彙密度と概念品質がESA性能に極めて重要であり、低品質のWikipediaページを戦略的に削除することで性能を回復できると確認した。