[论文解读] Hyperbolic Entailment Cones for Learning Hierarchical Embeddings
本文提出超曲线蕴含锥，用于学习有向无环图的分层嵌入，在训练阶段存在部分传递闭包时，优于先前的欧几里得和超曲线方法。
Learning graph representations via low-dimensional embeddings that preserve relevant network properties is an important class of problems in machine learning. We here present a novel method to embed directed acyclic graphs. Following prior work, we first advocate for using hyperbolic spaces which provably model tree-like structures better than Euclidean geometry. Second, we view hierarchical relations as partial orders defined using a family of nested geodesically convex cones. We prove that these entailment cones admit an optimal shape with a closed form expression both in the Euclidean and hyperbolic spaces, and they canonically define the embedding learning process. Experiments show significant improvements of our method over strong recent baselines both in terms of representational capacity and generalization.
研究动机与目标
- 为在 DAG 中编码分层/蕴含关系而对欧几里得及先前的超曲线方法的局限性进行动机说明与改进
- 提出一种在黎曼流形上基于圆锥的通用几何框架（蕴含锥）来建模部分序
- 推导欧几里得和双曲空间中的闭式最优圆锥形状，并给出高效的学习算法
- 在超词汇项预测基准（WordNet）上展示相较基线的表示能力与泛化的提升
提出的方法
- 通过黎曼流形上的指数映射来定义蕴含锥，以将切空间圆锥映射到流形上
- 推导欧几里得与 Poincaré 球模型的闭式最优圆锥孔径函数 psi
- 使用一个最大间距角度损失来训练嵌入，鼓励正样本对落在蕴含锥内、负样本对落在圆锥外
- 在 Poincaré 球中使用显式的指数映射进行完全或实际的黎曼优化
- 在 WordNet 传递闭包数据上与基线（Order Embeddings、Poincaré Embeddings、Simple Euclidean）进行对比评估
实验结果
研究问题
- RQ1能否将蕴含关系有效建模为非欧几里得流形上的圆锥区域，以捕捉层级结构和方向性？
- RQ2在自然对称性和传递性约束下，这些蕴含圆锥的最佳几何形状是什么？
- RQ3在低维嵌入的层级链接预测中，超曲线蕴含圆锥是否优于欧几里得/其他超曲线基线？
- RQ4在训练时使用不同量的传递闭包数据，学习的圆锥模型表现如何？
主要发现
- 在大多数低维设置（维度5和10）中，当训练中包含一些非基本传递闭包边时，超曲线蕴含圆锥优于所有基线
- 在5维时，训练中0%非基本边的结果：Simple Euclidean 26.8，Poincaré 29.4，Order 34.4，我们的欧几里得圆锥 28.5，我们的超曲线圆锥 29.2
- 在5维且50%非基本训练边时：Simple Euclidean 72.8，Poincaré 83.6，Order 81.7，我们的欧几里得圆锥 77.4，我们的超曲线圆锥 92.8
- 在10维且50%非基本训练边时：Simple Euclidean 78.1，Poincaré 85.3，Order 84.1，我们的欧几里得圆锥 81.6，我们的超曲线圆锥 94.4
- 在5与10维之间，随着训练中传递闭包的增加，超曲线圆锥展现出最强的增益，有时相比基线F1提升超过8个百分点
- 作者提供了 Poincaré 球的闭式指数映射，使得可以进行全黎曼优化而非近似方法
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。