[論文レビュー] Unsupervised Hypernym Detection by Distributional Inclusion Vector Embedding.

Haw-Shiuan Chang, Ziyun Wang+2 more|arXiv (Cornell University)|Oct 2, 2017

Topic Modeling参考文献 38被引用数 8

ひとこと要約

本稿では、非負のベクトル埋め込みと特化したネガティブサンプリングを用いて、語の文脈の多様性をモデル化する、教師なしの上位語検出手法であるDIVE（Distributional Inclusion Vector Embedding）を提案する。DIVEは、先行する教師なし手法と比較して、精度を最大で2倍から3倍まで向上させ、11のデータセットにおいて新たなSOTA（最先端）の結果を達成しており、場合によっては半教師あり手法をも凌駕する。

ABSTRACT

Modeling hypernymy, such as poodle is-a dog, is an important generalization aid to many NLP tasks, such as entailment, relation extraction, and question answering. Supervised learning from labeled hypernym sources, such as WordNet, limit the coverage of these models, which can be addressed by learning hypernyms from unlabeled text. Existing unsupervised methods either do not scale to large vocabularies or yield unacceptably poor accuracy. This paper introduces distributional inclusion vector embedding (DIVE), a simple-to-implement unsupervised method of hypernym discovery via per-word non-negative vector embeddings learned by modeling diversity of word context with specialized negative sampling. In an experimental evaluation more comprehensive than any previous literature of which we are aware - evaluating on 11 datasets using multiple existing as well as newly proposed scoring metrics - we find that our method can provide up to double or triple the precision of previous unsupervised methods, and also sometimes outperforms previous semi-supervised methods, yielding many new state-of-the-art results.

研究の動機と目的

• WordNetなどのラベル付きデータソースで学習された教師あり上位語モデルのカバー範囲の制限を解消すること。
• ラベル付きデータを必要とせず、大規模な語彙へスケーリング可能な教師なし手法を開発すること。
• 既存の教師なしアプローチを上回る精度での上位語発見を改善すること。
• 精度の高いスコアリングメトリクス（新規に提案されたものも含む）を用いて、多様なデータセット上で性能を評価すること。
• ラベル付きデータを一切必要とせず、半教師あり手法と同等またはそれを上回る最先端の結果を達成すること。

提案手法

• DIVEは、語の文脈を表現するために、各語ごとの非負のベクトル埋め込みを学習する。
• 訓練中に特化したネガティブサンプリングを組み込むことで、文脈の多様性をモデル化する。
• 上位語のベクトルがその下位語のベクトルを包含する、分布的包含関係を捉える。
• 語のベクトル間のコサイン類似度を用いてスコアリングを行い、類似度が高いほど上位語的関係が強いと判断する。
• 実装が単純で、大規模語彙へスケーラブルなように設計されている。
• 評価には、11の多様なデータセットで、precision at k や mean reciprocal rank などの複数のメトリクスが用いられる。

実験結果

リサーチクエスチョン

• RQ1 教師なし手法が、先行手法と比較して顕著に高い精度を達成できるか？
• RQ2 非負の埋め込みと特化したネガティブサンプリングの組み合わせが、上位語検出の性能向上に寄与するか？
• RQ3 大規模語彙へスケーリング可能でありながら、高い精度を維持できるか？
• RQ4 DIVEは、半教師あり手法と比較して、精度と再現率の両面で優れているか？
• RQ5 本手法は、多様なデータセットおよびスコアリングメトリクスに一般化可能か？

主な発見

• DIVEは、先行する教師なし上位語検出手法と比較して、最大で2倍から3倍の精度を達成する。
• 本手法は、11のベンチマークデータセットにおいて、新たなSOTA結果を達成しており、先行する教師なし手法や一部の半教師あり手法を上回る。
• DIVEは、多様なデータセットおよび複数の評価メトリクス（新規に提案されたものも含む）に強く一般化する。
• 本手法は、ラベル付きデータを一切必要としないため、大規模NLPアプリケーションにおいてスケーラブルで実用的である。
• 特化したネガティブサンプリングは、分布的包含パターンを捉えるモデルの能力を顕著に向上させる。
• 結果から、非負のベクトル埋め込みが文脈内の上位語的関係を効果的にモデル化できていることが確認された。