[論文レビュー] A Rank-Based Similarity Metric for Word Embeddings

Enrico Santus, Hongmin Wang+2 more|arXiv (Cornell University)|May 4, 2018

Topic Modeling参考文献 20被引用数 10

ひとこと要約

本稿では、安定したパワー係数 p = 0.1 を導入することで、密度的な単語埋め込みに適応したランクベースの類似度メトリックである APSynP を提案する。このメトリックは外れ値検出においてベクトルコサインを上回り、特に本物の類似度データセット（SimLex-999 など）においては類似度推定でも同等またはそれを上回る性能を示す。

ABSTRACT

Word Embeddings have recently imposed themselves as a standard for representing word meaning in NLP. Semantic similarity between word pairs has become the most common evaluation benchmark for these representations, with vector cosine being typically used as the only similarity metric. In this paper, we report experiments with a rank-based metric for WE, which performs comparably to vector cosine in similarity estimation and outperforms it in the recently-introduced and challenging task of outlier detection, thus suggesting that rank-based measures can improve clustering quality.

研究の動機と目的

• すべての次元を意味的関連性にかかわらず同等に扱うベクトルコサインの限界を是正すること。
• 元々スパースベクトル向けに開発されたランクベースのメトリック APSyn を、密度的な単語埋め込みに適応させること。
• クラスタリングの質を向上させるために、無教師でパラメータが安定した単語埋め込み用類似度測定を構築すること。
• 新しいメトリックを、標準的な類似度ベンチマークおよびより困難な外れ値検出タスクの両方で評価すること。

提案手法

• 特徴量の重複パラメータ N を全特徴量サイズ |f| に置き換えることで、APSyn を単語埋め込みに適応させる。
• ランク付けされた次元の寄与度を重みづけするパワー係数 p を導入し、複数のタスクで p = 0.1 が安定したことが実証された。
• 高いランクを持つ次元を類似度計算で優先するスムーズ化されたランクベースのスコア関数を採用する。
• 外れ値検出にはペairワイズ比較とクラスタープロトタイプの両方のアプローチを用い、後者はより効率的である。
• GloVe およびスキップグラム単語埋め込みを、異なるコーパス（Wikipedia、UMBC）で学習させたものにこのメトリックを適用する。
• 性能向上の統計的有意性を検証するために、フィッシャーの r-to-z 変換および χ² 検定を用いる。

実験結果

リサーチクエスチョン

• RQ1 ランクベースの類似度メトリックは、ベクトルコサインを上回る性能を単語埋め込みの評価で示せるか？
• RQ2 ランクベースのメトリック APSyn は、最小限のハイパーパramータチューニングで密度的な単語埋め込みに適応可能か？
• RQ3 提案された APSynP メトリックは、ベースライン手法と比較して、困難な外れ値検出タスクで性能を向上させるか？
• RQ4 APSynP のパワー係数 p は、異なるデータセットおよび埋め込みタイプで安定しているか？
• RQ5 クラスタープロトタイプ法は、低い計算コストで競争力ある外れ値検出性能を達成できるか？

主な発見

• APSynP は MEN データセットにおいてベクトルコサインを上回り、すべてのデータセットで APSyn よりも優れた性能を示した（p < 0.05）。
• スキップグラム埋め込みを用いた場合、APSynP は WordSim および MEN ではコサインと同等の性能を示し、SimLex-999 ではわずかに優れた性能を示した。
• Wikipedia で学習されたスキップグラムモデルを用いた外れ値検出タスクにおいて、APSynP は 73.4% の精度と 94.9% の OPP を達成し、最先端の性能を記録した。
• モデルはデータセット全体で一貫した性能を示し、本物の意味的類似度を好む傾向が、SimLex-999 でのより良い結果から裏付けられた。
• クラスタープロトタイプ法は、ペアワイズ比較よりも計算コストを低く抑えながら、競争力ある結果を得た。
• パワー係数 p は、複数のタスクにおいて実証的に 0.1 で安定しており、このメトリックの無教師適用を可能にした。