[論文レビュー] Distributional Inclusion Vector Embedding for Unsupervised Hypernymy Detection

Haw-Shiuan Chang, Ziyun Wang+2 more|arXiv (Cornell University)|Oct 2, 2017

Topic Modeling被引用数 5

ひとこと要約

本稿では、分布的包含仮説（DIH）を保持する低次元の単語埋め込みを学習する非教師あり手法である分布的包含ベクトル埋め込み（DIVE）を提案する。DIVEは重み付きポイントワイズ相互情報量（PMI）行列に対して非負行列分解（NMF）を適用する。11のハイパニム検出データセットにおいて、従来の非教師あり手法に比べて最大2倍の精度を達成し、スパースなbag-of-words表現よりもはるかに少ない次元数で実現している。

ABSTRACT

Modeling hypernymy, such as poodle is-a dog, is an important generalization aid to many NLP tasks, such as entailment, coreference, relation extraction, and question answering. Supervised learning from labeled hypernym sources, such as WordNet, limits the coverage of these models, which can be addressed by learning hypernyms from unlabeled text. Existing unsupervised methods either do not scale to large vocabularies or yield unacceptably poor accuracy. This paper introduces distributional inclusion vector embedding (DIVE), a simple-to-implement unsupervised method of hypernym discovery via per-word non-negative vector embeddings which preserve the inclusion property of word contexts in a low-dimensional and interpretable space. In experimental evaluations more comprehensive than any previous literature of which we are aware-evaluating on 11 datasets using multiple existing as well as newly proposed scoring functions-we find that our method provides up to double the precision of previous unsupervised embeddings, and the highest average performance, using a much more compact word representation, and yielding many new state-of-the-art results.

研究の動機と目的

• 低次元のベクトル空間において分布的包含仮説（DIH）を保持するスケーラブルで非教師ありのハイパニム検出手法を開発すること。
• 従来の非教師あり埋め込みの限界（スケーラビリティの低さや精度の低さ）を補うために、文脈の包含と一般性の信号を直接埋め込み空間に組み込むこと。
• 重み付きPMI行列から得られるコンパクトで非負の埋め込みが、ハイパニム検出タスクにおいてスパースなbag-of-words（SBOW）特徴量と同等またはそれを上回る性能を達成できることを示すこと。
• 学習された埋め込みに対して、非対称なスコア関数の範囲を評価し、ハイパニム関係を検出するのに最も効果的な関数を同定すること。
• 単純で解釈可能かつ効率的な手法を用いて、非教師ありハイパニム検出の新しい最先端性能を確立すること。

提案手法

• DIVEはコーパス内の単語-文脈共起回数から重み付きPMI行列を構築し、各エントリが単語とその文脈の間の関連強度を反映する。
• 非負行列分解（NMF）を重み付きPMI行列に適用し、包含性質（ハイパニムがそのハイポニムよりも高い文脈頻度を持つ）を保持する低次元で非負の単語埋め込みを学習する。
• 埋め込みのハイパニムが各次元でそのハイポニムを上回るようにする包含シフトを導入し、DIHと整合させる。
• スケールアップを可能にするために、変更を加えたスキップグラムアプローチを用いて最適化プロセスを高速化する。
• 包含、一般性、類似性に基づくスコア関数をDIVE埋め込みに適用し、ハイパニム関係を検出する。
• 複数のスコア関数（新規に提案されたものも含む）を用いて、11のデータセット全体で包括的なベンチマーク評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 低次元で非負の埋め込み手法は、正確な非教師ありハイパニム検出を可能にする形で、分布的包含仮説（DIH）を保持できるか？
• RQ2 DIVEは、スパースなbag-of-words（SBOW）表現と比較して、ハイパニム検出タスクにおける精度、再現率、計算効率の点でどのように差をつけるか？
• RQ3 包含、一般性、類似性に基づくスコア関数の中で、DIVE埋め込みに適用した場合に、多様なデータセット全体で最も安定した性能を示すのはどれか？
• RQ4 DIVEは、SBOWに比べてはるかに少ない次元数で、非教師ありハイパニム検出の最先端性能を達成できるか？
• RQ5 非負性とPMIの重み付けを組み込むことで、ハイパニム検出における単語埋め込みの解釈可能性と有効性が向上するか？

主な発見

• DIVEは、従来の非教師あり埋め込み手法に比べて、ハイパニム検出タスクで最大2倍の精度を達成し、顕著に優れた性能を示している。
• 11のデータセット全体で平均的に最高の性能を達成しており、従来の非教師あり埋め込みよりも一貫して優れていることが示された。
• DIVEは、はるかに少ない次元数でスパースなbag-of-words（SBOW）表現と同等またはわずかに上回る性能を達成しており、メモリおよび計算効率に優れている。
• DIVE埋め込みと包含性・一般性を測る非対称スコア関数の組み合わせが、複数のデータセットで新しい最先端の結果を達成した。
• どのスコア関数もすべてのデータセットで優勢ではないが、類似性と一般性の信号を組み合わせた関数が全体的に最も優れた性能を示した。
• 理論的および定性的な分析により、DIVE埋め込みが包含性質を直感的に保持していることが確認され、解釈可能で意味的に意味のあるものであることが示された。