[论文解读] Learning Continuous Hierarchies in the Lorentz Model of Hyperbolic Geometry

Maximilian Nickel, Douwe Kiela|arXiv (Cornell University)|Jun 9, 2018

Complex Network Analysis Techniques被引用 85

一句话总结

本文提出了一种 Lorentz-model hyperbolic embedding 方法，从成对相似性中学习连续层次结构，在低维度下相对于 Poincaré embeddings 展现出更好的性能，并在 taxonomy、Enron 和历史语言学数据上进行验证。

ABSTRACT

We are concerned with the discovery of hierarchical relationships from large-scale unstructured similarity scores. For this purpose, we study different models of hyperbolic space and find that learning embeddings in the Lorentz model is substantially more efficient than in the Poincar\\'e-ball model. We show that the proposed approach allows us to learn high-quality embeddings of large taxonomies which yield improvements over Poincar\\'e embeddings, especially in low dimensions. Lastly, we apply our model to discover hierarchies in two real-world datasets: we show that an embedding in hyperbolic space can reveal important aspects of a company's organizational structure as well as reveal historical relationships between language families.

研究动机与目标

• 发现如何从无序成对相似性分数推断层次关系。
• 在 Lorentz 模型的双曲空间中开发一种高效的优化方法。
• 展示双曲嵌入可以通过嵌入范数来揭示概念的一般性，通过距离来揭示相关性。
• 评估对大型 taxonomy 及现实世界数据集的可扩展性。
• 将 Lorentz-model 嵌入与 Poincaré 嵌入进行比较并展示改进，特别是在低维度下。

提出的方法

• 提出一个具有黎曼优化的 Lorentz-model 双曲嵌入框架。
• 使用 Lorentz 距离 d_ell(x,y)=arcosh(-<x,y>_L) 和 指数映射沿测地线进行更新。
• 通过投影到双曲面切空间来计算黎曼梯度。
• 在双曲圆球的原点附近初始化嵌入，并在需要时映射到 Poincaré 圆盘进行可视化。
• 将双曲嵌入扩展为通过优化局部邻域排序目标（Eq. 12）从成对相似矩阵中推断层次结构。
• 在大型 taxonomy 上对比 Poincaré 嵌入，评估优化效率和嵌入质量。

实验结果

研究问题

• RQ1 是否可以使用双曲嵌入从成对相似性数据中恢复连续层级？
• RQ2 Lorentz-model 是否比 Poincaré 模型更高效且质量更高的嵌入，尤其在低维度下？
• RQ3 嵌入范数是否可作为潜在层级中概念泛化性的指标？
• RQ4 Lorentz-model 双曲嵌入在大型现实数据集上的扩展性如何，以及能否揭示有意义的结构（如组织、语言家族）？

主要发现

• Lorentz-model 嵌入在质量上显著优于 Poincaré 嵌入，特别是在 2D 和 5D 设置中。
• 在大型分类体系中，2D 和 5D 的 Lorentz 嵌入相对于 Poincaré 嵌入显示出较大相对改进（例如，在 WordNet Nouns 的 2D 设置中 MR 提升高达 74.8%）。
• 嵌入范数与概念的一般性相关，为层级排名提供代理。
• 对 Enron 和 cognate 数据的应用揭示了与真实层级一致的组织结构和历史语言关系。
• Lorentz 优化避免了 Poincaré 距离的数值不稳定性，并沿着测地线进行高效更新，从而改善优化结果。