[论文解读] Distributional Inclusion Vector Embedding for Unsupervised Hypernymy Detection

Haw-Shiuan Chang, Ziyun Wang+2 more|arXiv (Cornell University)|Oct 2, 2017

Topic Modeling被引用 5

一句话总结

本文提出分布包含向量嵌入（DIVE），一种无监督方法，通过在加权点互信息（PMI）矩阵上应用非负矩阵分解（NMF），学习低维词嵌入，以保留分布包含假设（DIH）。DIVE在11个上下位关系检测数据集上达到最先进性能，相比以往无监督方法，精度最高提升一倍，且所用维度远少于稀疏词袋（SBOW）表示。

ABSTRACT

Modeling hypernymy, such as poodle is-a dog, is an important generalization aid to many NLP tasks, such as entailment, coreference, relation extraction, and question answering. Supervised learning from labeled hypernym sources, such as WordNet, limits the coverage of these models, which can be addressed by learning hypernyms from unlabeled text. Existing unsupervised methods either do not scale to large vocabularies or yield unacceptably poor accuracy. This paper introduces distributional inclusion vector embedding (DIVE), a simple-to-implement unsupervised method of hypernym discovery via per-word non-negative vector embeddings which preserve the inclusion property of word contexts in a low-dimensional and interpretable space. In experimental evaluations more comprehensive than any previous literature of which we are aware-evaluating on 11 datasets using multiple existing as well as newly proposed scoring functions-we find that our method provides up to double the precision of previous unsupervised embeddings, and the highest average performance, using a much more compact word representation, and yielding many new state-of-the-art results.

研究动机与目标

• 开发一种可扩展的无监督方法，用于上下位关系检测，以在低维向量空间中保留分布包含假设（DIH）。
• 通过直接将上下文包含和泛化信号编码到嵌入空间中，解决现有无监督嵌入方法的局限性，如可扩展性差或准确率低。
• 证明从加权PMI矩阵导出的紧凑、非负嵌入可匹配或超越稀疏词袋（SBOW）特征在上下位关系检测任务中的性能。
• 评估一系列非对称评分函数在学习到的嵌入上的表现，识别出在检测上下位关系方面最有效的函数。
• 通过一种简单、可解释且高效的无监督方法，建立无监督上下位关系检测的新最先进水平。

提出的方法

• DIVE从语料库中词-上下文共现频次构建加权PMI矩阵，其中每个条目反映词与其上下文之间关联强度。
• 对加权PMI矩阵应用非负矩阵分解（NMF），学习低维、非负的词嵌入，以保留包含特性：上位词的上下文计数高于其下位词。
• 通过引入包含偏移，强制上位词嵌入在每个维度上均占主导地位，与DIH保持一致。
• 使用改进的跳字模型方法加速优化过程，实现对大规模词汇表的高效训练。
• 在DIVE嵌入上应用基于包含、泛化和相似性的评分函数，以检测上下位关系。
• 在11个数据集上使用多种评分函数（包括新提出的函数）评估该方法，确保全面基准测试。

实验结果

研究问题

• RQ1 一种低维、非负的嵌入方法能否以保留分布包含假设（DIH）的方式，实现准确的无监督上下位关系检测？
• RQ2 在上下位关系检测任务中，DIVE与稀疏词袋（SBOW）表示相比，在精度、召回率和计算效率方面表现如何？
• RQ3 当应用于DIVE嵌入时，基于包含、泛化或相似性的哪些评分函数在多种数据集上表现最稳健？
• RQ4 DIVE能否在使用远少于SBOW的维度下，实现无监督上下位关系检测的最先进性能？
• RQ5 引入非负性与PMI加权是否能提升词嵌入在上下位关系检测中的可解释性与有效性？

主要发现

• DIVE在上下位关系检测任务中，相比以往无监督嵌入方法，精度最高提升一倍，显著优于现有无监督方法。
• 该方法在11个数据集上的平均性能最高，表明其在所有先前无监督嵌入方法中表现一致更优。
• DIVE在使用远少于SBOW的维度下，性能与之匹配或略超，使其在内存和计算效率方面更具优势。
• 将DIVE嵌入与测量包含和泛化特性的非对称评分函数结合，可在多个数据集上取得新的最先进结果。
• 无单一评分函数在所有数据集上均占优，但结合相似性与泛化信号的函数整体表现最佳。
• 理论与定性分析证实，DIVE嵌入直观地保留了包含特性，使其具有可解释性与语义意义。