[論文レビュー] Distributional Measures as Proxies for Semantic Relatedness

Saif M. Mohammad, Graeme Hirst|arXiv (Cornell University)|Mar 8, 2012

Semantic Web and Ontologies参考文献 32被引用数 57

ひとこと要約

この論文は、意味的類似性の分布的測定法について包括的な分析を提示し、人間の判断を模倣する際のその長所と短所を評価している。本稿では、非対称性、頻度バイアス、文脈重み付けの問題を解決することで、人間の類似性認識により適合するように改善された新しい測定法——例えば、Saif^Div および KLD を用いた測定法——を導入しており、従来の PMI やコサイン類似度といった手法に代わるより頑健な代替手法を提供している。

ABSTRACT

The automatic ranking of word pairs as per their semantic relatedness and ability to mimic human notions of semantic relatedness has widespread applications. Measures that rely on raw data (distributional measures) and those that use knowledge-rich ontologies both exist. Although extensive studies have been performed to compare ontological measures with human judgment, the distributional measures have primarily been evaluated by indirect means. This paper is a detailed study of some of the major distributional measures; it lists their respective merits and limitations. New measures that overcome these drawbacks, that are more in line with the human notions of semantic relatedness, are suggested. The paper concludes with an exhaustive comparison of the distributional and ontology-based measures. Along the way, significant research problems are identified. Work on these problems may lead to a better understanding of how semantic relatedness is to be measured.

研究の動機と目的

• 既存の意味的類似性の分布的測定法を体系的に評価し、人間の判断との整合性に欠ける点を同定すること。
• 非対称性、頻度バイアス、希少共起の不適切な取り扱いといった主な欠陥を是正する新しい分布的測定法を提案すること。
• WordNet などのオントロジーに基づくアプローチ（例：WordNet）と比較し、それぞれの長所と短所を明らかにすること。
• 人間の類似理解に類似したモデルを構築するための、未解決の研究課題を同定すること。
• 確率論的および情報理論的原則に基づいて、分布的類似度測定法の評価と改善を統合的に可能にするフレームワークを提供すること。

提案手法

• 文脈の共起頻度を大規模コーパスから抽出し、文レベルからドキュメントレベルまでのウィンドウサイズを用いて単語の文脈を定義する。
• ポイントワイズ相互情報量（PMI）、カルバック・ライブラー発散（KLD）、ジンセン・シャノン発散（JSD）などの情報理論的測定法を用いて、分布的類似度を定量化する。
• ターゲット語の両方の文脈において、文脈語の最大確率または平均確率に基づいて重みを付ける、新しい合成的測定法（例：Saif^Div_AvgWt、Saif^Div_MaxWt）を導入する。
• 方向性の類似性と相互類似性をより適切に反映できるように、KLD や PMI を用いた非対称および対称バージョンの測定法を提案する。
• 正規化および重み付けを施したコサイン、ジャカード、ダイス類似度の形を用いて、語のペア間の分布的プロファイルを比較する。
• F1 に類似した平均化戦略や重み付き平均化戦略を用いて、タイプベースおよびトークンベースの関連性を統合するハイブリッドモデル（例：CRMs）を組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 異なる分布的測定法は、人間の意味的類似性判断をどれほど正確に再現できるか？
• RQ2 PMI やコサイン類似度、KLD といった既存の分布的測定法が、人間の類似理解を捉える際に抱える主な制限は何か？
• RQ3 非対称性、頻度バイアス、文脈重み付けの問題をより適切に扱えるように設計された新しい分布的測定法は、人間の判断との相関を向上させることができるか？
• RQ4 WordNet から導出されるオントロジーに基づく測定法と比較して、分布的測定法は性能および頑健性においてどのように差を示すか？
• RQ5 分布的モデルを用いた意味的類似性測定の分野における、今後の研究で有望とされる方向性は何か？

主な発見

• 従来の分布的測定法（PMI やコサイン類似度）は、希少共起に極めて敏感であり、代表的でない語のペアに対してもスコアが過大評価されがちである。
• 非対称測定法（例：KLD や KLD_Avg、KLD_Max）は、一方の語がより豊富または特異な文脈を持つ場合に、対称型の測定法を上回って方向性のある意味的関係を捉えるのに優れている。
• 提案された Saif^Div_AvgWt および Saif^Div_MaxWt 測定法は、2つのターゲット語の共同文脈における文脈語の相対的重要性に基づいて重み付けを行うことで、人間の判断との相関が向上している。
• PMI と KLD を組み合わせたハイブリッドモデル（例：CRMs）は、語の関連性検出における正確性と再現率のバランスを取ることで、より頑健で高い性能を示している。
• 本研究では、多くの既存測定法が文脈の重なりや分布的乖離をバランスよく扱えておらず、合成的かつ文脈重み付きの測定法が非合成的測定法を著しく上回っていることが判明した。
• 評価された測定法の中で、KLD を用いた測定法および PMI を用いた測定法（例：KLD_Avg、Saif^Div_AvgWt）が、特に 'honey–bee' と 'paper–car' のようなベンチマーク語のペアにおいて、人間の判断と最も高い整合性を示している。