[论文解读] Hyperbolic Deep Neural Networks: A Survey

Wei Peng, Tuomas Varanka+3 more|arXiv (Cornell University)|Jan 12, 2021

Computational Physics and Python Applications参考文献 172被引用 11

一句话总结

本综述全面回顾了双曲深度神经网络（HDNNs），重点分析其在建模层次化数据方面相较于欧几里得方法的更高效率。通过利用双曲空间随半径指数增长的体积特性，HDNNs 能够实现更紧凑、可解释性更强的表示，参数量更少，并在知识图谱和自然语言层次结构等树状结构数据上表现出更优的泛化能力。

ABSTRACT

Recently, there has been a rising surge of momentum for deep representation learning in hyperbolic spaces due to theirhigh capacity of modeling data like knowledge graphs or synonym hierarchies, possessing hierarchical structure. We refer to the model as hyperbolic deep neural network in this paper. Such a hyperbolic neural architecture potentially leads to drastically compact model withmuch more physical interpretability than its counterpart in Euclidean space. To stimulate future research, this paper presents acoherent and comprehensive review of the literature around the neural components in the construction of hyperbolic deep neuralnetworks, as well as the generalization of the leading deep approaches to the Hyperbolic space. It also presents current applicationsaround various machine learning tasks on several publicly available datasets, together with insightful observations and identifying openquestions and promising future directions.

研究动机与目标

• 系统性回顾双曲空间中的神经网络架构与优化技术。
• 分析双曲几何（尤其是负曲率）在建模层次化数据结构方面的优势。
• 识别双曲深度学习在优化、模型稳定性与基准测试方面存在的开放挑战。
• 探索混合几何流形与先进架构（如神经架构搜索，NAS）在未来的HDNN发展中的潜力。
• 为HDNN在真实世界应用中的标准化评估与更广泛应用奠定基础。

提出的方法

• 以庞加莱模型与洛伦兹模型作为双曲表示学习的主要几何框架。
• 回顾黎曼优化技术，如黎曼随机梯度下降与指数映射，用于在流形上更新参数。
• 研究如双曲向量空间与双曲全连接层等架构组件，以保持几何一致性。
• 分析在双曲空间中使用自编码器与变分推理进行表示学习的方法。
• 评估基于神经架构搜索（NAS）的最新进展，以在庞加莱空间中搜索最优投影维度。
• 讨论洛伦兹模型中在铺砌（tiling）与数值稳定性方面的改进，以解决与边界相关的不稳定性问题。

实验结果

研究问题

• RQ1 双曲神经网络在建模层次化数据方面为何优于欧几里得网络？
• RQ2 构建稳定且高效的HDNN时，其关键几何与优化挑战是什么？
• RQ3 在哪些场景下，双曲几何相较于欧几里得几何在深度学习中具有显著优势？
• RQ4 如何有效构建与优化混合几何流形以应对复杂的真实世界数据？
• RQ5 在不同任务与数据集之间，HDNN评估的基准化与标准化方面存在哪些开放性问题？

主要发现

• 由于双曲空间随半径呈指数增长，其能更高效地实现树状结构数据的低维表示。
• HDNNs 在参数更少、过拟合更少的情况下仍能实现更好的泛化能力，尤其在低维嵌入中表现更优。
• 庞加莱模型因具有有界性与直观的几何特性而被广泛使用，但洛伦兹模型在某些情况下展现出更优的数值稳定性。
• 尽管理论优势明显，HDNNs 并非在所有情况下均持续优于欧几里得基线模型，尤其当嵌入维度增加时。
• 当前基准缺乏标准化，导致跨方法比较困难，原因在于评估协议与任务的一致性不足。
• 将HDNNs与先进技术（如神经架构搜索（NAS）与先进优化工具）结合，具有巨大潜力，可缩小与欧几里得模型的性能差距。