[論文レビュー] Testing APSyn against Vector Cosine on Similarity Estimation

Enrico Santus, Emmanuele Chersoni+3 more|arXiv (Cornell University)|Aug 27, 2016

Topic Modeling参考文献 29被引用数 5

ひとこと要約

この論文は、2つの語の最も関連性の高い文脈の重み付き共通部分集合を計算する新しい類似度測定法であるAPSynを、語の類似度推定においてベクトルコサインと比較して評価している。APSynは、WordSim-353、MEN、SimLex-999といった複数の標準データセットでベクトルコサインを上回り、単語埋め込みと同等の最先端の性能を達成している。また、特定のバイアスに対してより頑健であり、真正の意味的類似度を効果的に測定できる点でも優れている。

ABSTRACT

In Distributional Semantic Models (DSMs), Vector Cosine is widely used to estimate similarity between word vectors, although this measure was noticed to suffer from several shortcomings. The recent literature has proposed other methods which attempt to mitigate such biases. In this paper, we intend to investigate APSyn, a measure that computes the extent of the intersection between the most associated contexts of two target words, weighting it by context relevance. We evaluated this metric in a similarity estimation task on several popular test sets, and our results show that APSyn is in fact highly competitive, even with respect to the results reported in the literature for word embeddings. On top of it, APSyn addresses some of the weaknesses of Vector Cosine, performing well also on genuine similarity estimation.

研究の動機と目的

• APSynという文脈に基づく類似度測定法を、語の類似度推定において広く用いられているベクトルコサインと体系的に比較評価すること。
• APSynが多様なコーパスおよびモデル設定において、ベクトルコサインを上回ることを示すこと。
• APSynが、語の関連性とは異なる真正の意味的類似度を測定できるかを評価すること。
• APSynが、先行研究で用いられたような大規模コーパスにおいてスケーラブルであるかを評価すること。
• APSynが、ハブネス効果や共有特徴数の取り扱いが悪いといった、ベクトルコサインの既知のバイアスをどれほど軽減できるかを検討すること。

提案手法

• APSynは、2つのターゲット語の最も関連性の高い文脈同士の共通部分集合の平均精度を、文脈の関連性で重み付けして計算する。
• この手法は、関連スコア（例：PPMI や LMI）に基づいて、各語の上位N個の顕著な文脈をしきい値ベースで選択する。
• 著者らは、コーパスサイズ、文脈ウィンドウ幅、重み付け方式（PPMI、LMI）、SVD次元削減のパラメータを変化させた28種類のカウントベースの分散意味モデル（DSM）を訓練した。
• 直接比較のため、同じDSM上でベクトルコサインも計算した。
• 性能評価は、標準ベンチマーク（WordSim-353、MEN、SimLex-999）を用いたスピアマン順位相関で行った。
• スケーラビリティのテストは、Baroniら（2014）と同等の28億語の大規模コーパスを用い、APSynではN=1000、2ウィンドウのPPMI重み付きDSMを用いた。

実験結果

リサーチクエスチョン

• RQ1 APSynは、複数の標準語類似度データセットで、ベクトルコサインを上回る性能を示すか？
• RQ2 APSynは、特に類似度中心のベンチマークにおいて、最先端の単語埋め込みと同等の性能を達成できるか？
• RQ3 APSynは、一般的な語の関連性とは異なり、真正の意味的類似度を測定するのに有効か？
• RQ4 APSynは、大規模コーパスにおけるスケーラビリティにおいてどの程度の性能を示すか？
• RQ5 APSynは、ハブネス効果や共有特徴の取り扱いが悪いといった、ベクトルコサインの既知のバイアスをどれほど軽減できるか？

主な発見

• APSynは、評価された全データセット（WordSim-353、MEN、SimLex-999）において、ほとんどのモデル設定でベクトルコサインを上回った。
• SimLex-999データセットでは、APSynPPMIがスピアマン相関0.77を達成し、ベクトルコサインを上回り、最先端の単語埋め込みと同等の性能を示した。
• 最大のAPSynモデルでは、2.8億語のコーパスを用いて、WordSim-353で0.72、MENで0.77の相関を達成し、先行のカウントベースのモデル（0.62および0.72）を上回り、単語埋め込みの性能に近づいた。
• APSynは、WordSim-353の類似度サブセットでは関連性サブセットに比べて20〜30％の性能優位を示し、真正の意味的類似度の測定能力が優れていることが示された。
• APSynはハブネス効果に対して頑健であることが判明したが、語の頻度とも若干の相関を示したため、根本的なDSMにその問題が残っている可能性がある。
• APSynは強力なスケーラビリティを示し、大きなコーパスでも計算コストの増加が著しくなく、実世界のNLP応用に適している。