[论文解读] HyperML: A Boosting Metric Learning Approach in Hyperbolic Space for Recommender Systems

Lucas Vinh Tran, Yi Tay+3 more|arXiv (Cornell University)|Sep 5, 2018

Recommender Systems and Techniques参考文献 38被引用 21

一句话总结

HyperML 提出了一种新颖的超球面度量学习方法，用于个性化推荐，利用莫比乌斯旋量空间将欧几里得运算推广至双曲几何，从而提升用户-项目嵌入表示能力。该方法在十个基准数据集上的排名指标上，相较于欧几里得基线模型和 SOTA 模型（如 CML 和 LRML），性能最高提升达 32.32%。

ABSTRACT

This paper investigates the notion of learning user and item representations in non-Euclidean space. Specifically, we study the connection between metric learning in hyperbolic space and collaborative filtering by exploring Mobius gyrovector spaces where the formalism of the spaces could be utilized to generalize the most common Euclidean vector operations. Overall, this work aims to bridge the gap between Euclidean and hyperbolic geometry in recommender systems through metric learning approach. We propose HyperML (Hyperbolic Metric Learning), a conceptually simple but highly effective model for boosting the performance. Via a series of extensive experiments, we show that our proposed HyperML not only outperforms their Euclidean counterparts, but also achieves state-of-the-art performance on multiple benchmark datasets, demonstrating the effectiveness of personalized recommendation in hyperbolic geometry.

研究动机与目标

• 探究双曲空间在协同过滤中度量学习的潜力，突破传统欧几里得几何的限制。
• 解决基于欧几里得的度量学习模型在捕捉层级结构和长尾用户-项目关系方面的局限性。
• 开发一种概念上简单但高效的度量学习方法，保留度量学习的优势，同时利用双曲空间的曲率特性。
• 引入一个失真项，以在优化过程中平衡局部与全局距离保持的权衡。
• 通过实证验证双曲度量学习在个性化排序任务中相较于现有欧几里得和 SOTA 基线模型的优越性。

提出的方法

• 在庞加莱模型中使用莫比乌斯旋量空间，将标准向量运算（加法、乘法、指数映射、对数映射）推广至双曲几何。
• 在双曲空间中应用拉-推机制，以最小化正样本用户-项目对之间的距离，同时最大化负样本对之间的距离。
• 利用指数映射和对数映射在双曲球体与切空间之间传递嵌入，以实现稳定的优化。
• 在多任务学习框架中引入失真项，以控制双曲空间中准确性与几何保真度之间的权衡。
• 使用随机梯度下降优化模型，并采用适配于双曲几何的对比损失函数。
• 采用 t-SNE 可视化分析双曲空间中学习到的嵌入的聚类行为，结果表明无需显式监督即可揭示基于类别的结构。

实验结果

研究问题

• RQ1 与欧几里得方法相比，双曲空间中的度量学习是否能提升个性化推荐性能？
• RQ2 双曲空间的曲率如何影响协同过滤中度量学习的优化动态？
• RQ3 双曲表示在隐式反馈数据中，能在多大程度上捕捉用户-项目关系的层级结构与长尾特性？
• RQ4 引入失真项是否能通过保持局部与全局几何结构，提升双曲嵌入的质量？
• RQ5 在排序性能方面，HyperML 与 SOTA 欧几里得度量学习模型（如 CML 和 LRML）相比表现如何？

主要发现

• HyperML 在十个公开基准数据集上达到 SOTA 性能，优于欧几里得度量学习模型及 CML 和 LRML 等 SOTA 基线模型。
• 在 AUC 和 NDCG 等标准评估指标上，模型相较竞争对手的排名性能最高提升达 32.32%。
• 对 MovieLens1M 数据集的 2D 嵌入进行 t-SNE 可视化，显示项目按类型清晰聚类，表明 HyperML 能够从隐式反馈中隐式学习语义结构。
• 失真项有效平衡了局部与全局距离保持，防止过拟合并提升了双曲空间中的泛化能力。
• HyperML 证明双曲几何能够更高效、更富表达力地学习层级用户-项目交互的表示。
• 由于双曲空间体积呈指数增长，双曲空间中的拉-推机制在分离点时所需作用力更小，从而实现更快、更稳定的收敛。