[论文解读] Inferring Concept Hierarchies from Text Corpora via Hyperbolic Embeddings

Matt Le, Stephen Roller+3 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 55被引用 21

一句话总结

本文提出了一种新颖的方法，通过结合Hearst模式与双曲嵌入，从文本语料库中推断概念层次结构。该方法利用双曲空间的层次几何结构，提升了传递性、效率和可解释性，在多个超蕴含基准测试中达到最先进性能，同时与基于SVD的方法相比，将嵌入维度降低了一个多数量级。

ABSTRACT

We consider the task of inferring is-a relationships from large text corpora. For this purpose, we propose a new method combining hyperbolic embeddings and Hearst patterns. This approach allows us to set appropriate constraints for inferring concept hierarchies from distributional contexts while also being able to predict missing is-a relationships and to correct wrong extractions. Moreover -- and in contrast with other methods -- the hierarchical nature of hyperbolic space allows us to learn highly efficient representations and to improve the taxonomic consistency of the inferred hierarchies. Experimentally, we show that our approach achieves state-of-the-art performance on several commonly-used benchmarks.

研究动机与目标

• 为解决从大规模文本语料库中推断准确、一致且高效的层次结构的挑战。
• 克服基于模式的方法（如Hearst模式）存在的稀疏性和假阴性问题。
• 通过双曲几何引入层次归纳偏置，改进分布表示方法。
• 实现低维但高度有效的自然语言分类结构表示。

提出的方法

• 从大规模文本语料库（GigaWord + Wikipedia）中使用Hearst模式提取潜在的is-a关系，构建有向加权的Hearst图。
• 利用Lorentz模型将所得图嵌入双曲空间，利用其固有的层次结构。
• 提出一种新方法，用于在Lorentz模型中计算双曲蕴含锥，以强制实现传递性并改善优化。
• 利用嵌入的范数表示术语的普遍性，利用距离表示语义相似性。
• 通过几何约束应用模型预测缺失的超蕴含关系并纠正错误的抽取结果。
• 联合优化嵌入，以最好地解释观测到的Hearst模式抽取结果，同时保持分类一致性。

实验结果

研究问题

• RQ1 与欧几里得空间或基于SVD的方法相比，双曲嵌入是否能提升推断概念层次结构的一致性和准确性？
• RQ2 双曲几何在多大程度上能降低所需嵌入维度，同时保持或提升性能？
• RQ3 所提出的方法在恢复分类法中缺失的和传递性超蕴含关系方面有多有效？
• RQ4 Hearst模式与双曲嵌入的结合是否能在标准超蕴含基准测试中超越现有最先进方法？
• RQ5 双曲空间的几何结构是否通过在单一向量空间中同时编码相似性与层次结构，增强了可解释性？

主要发现

• 所提出的HYPECONES方法在九个超蕴含基准中的七个上达到最先进性能，包括BLESS、LEDS、EVAL、SHWARTZ、WBLESS、BIBLESS和HYPERLEX。
• 在HYPERLEX数据集上，该方法实现了0.59的Spearman等级相关系数，显著优于先前的Poincaré GLOVE（0.341），并匹配或超过基于SVD的基线方法。
• 在WBLESS基准上，该方法实现了90.9%的准确率，相较于先前方法有显著提升，表明其在检测任务中的强大性能。
• 该方法将所需嵌入维度从SVD的300D降低至仅20D，同时保持或提升性能，凸显其高效性。
• 消融研究证实，双曲蕴含锥能有效提升传递性，即使在Hearst图中缺失直接路径的情况下，也能正确推断出如（公马, is-a, 马科动物）等缺失的传递关系。
• 对WORDNET子树（动物、植物、车辆）的重建显示，相比最佳非双曲基线，相对性能提升超过40%，验证了该方法恢复完整分类体系的能力。