[论文解读] Free Hyperbolic Neural Networks with Limited Radii.

Yunhui Guo, Xudong Wang+2 more|arXiv (Cornell University)|Jul 23, 2021

Advanced Neural Network Applications参考文献 18被引用 4

一句话总结

本文提出特征裁剪（Feature Clipping）这一正则化技术，通过将双曲嵌入限制在有限半径内，缓解双曲神经网络（HNNs）中的梯度消失问题。通过稳定训练过程，该方法使HNNs在CIFAR10、CIFAR100和ImageNet等标准图像基准数据集上的性能达到与欧几里得神经网络相当的水平，同时提升了对抗鲁棒性与分布外检测能力。

ABSTRACT

Non-Euclidean geometry with constant negative curvature, i.e., hyperbolic space, has attracted sustained attention in the community of machine learning. Hyperbolic space, owing to its ability to embed hierarchical structures continuously with low distortion, has been applied for learning data with tree-like structures. Hyperbolic Neural Networks (HNNs) that operate directly in hyperbolic space have also been proposed recently to further exploit the potential of hyperbolic representations. While HNNs have achieved better performance than Euclidean neural networks (ENNs) on datasets with implicit hierarchical structure, they still perform poorly on standard classification benchmarks such as CIFAR and ImageNet. The traditional wisdom is that it is critical for the data to respect the hyperbolic geometry when applying HNNs. In this paper, we first conduct an empirical study showing that the inferior performance of HNNs on standard recognition datasets can be attributed to the notorious vanishing gradient problem. We further discovered that this problem stems from the hybrid architecture of HNNs. Our analysis leads to a simple yet effective solution called Feature Clipping, which regularizes the hyperbolic embedding whenever its norm exceeding a given threshold. Our thorough experiments show that the proposed method can successfully avoid the vanishing gradient problem when training HNNs with backpropagation. The improved HNNs are able to achieve comparable performance with ENNs on standard image recognition datasets including MNIST, CIFAR10, CIFAR100 and ImageNet, while demonstrating more adversarial robustness and stronger out-of-distribution detection capability.

研究动机与目标

• 探究尽管双曲神经网络（HNNs）在层次化数据上具有理论优势，为何其在标准图像识别基准上表现不佳。
• 识别HNN在非层次化数据集（如CIFAR和ImageNet）上表现不佳的根本原因。
• 开发一种简单而有效的正则化方法，通过防止梯度消失来稳定HNN的训练过程。
• 使HNN在保持对抗鲁棒性与分布外检测等优势的同时，实现与标准视觉基准相当的性能。

提出的方法

• 提出特征裁剪，一种正则化技术，当嵌入的双曲范数超过预设阈值时，对其进行裁剪。
• 在反向传播过程中应用裁剪操作，以防止深层HNN中梯度消失。
• 在限制表示的径向范围的同时，保持双曲空间的内在几何结构。
• 采用庞加莱球模型表示双曲空间，裁剪操作作用于隐藏表示的双曲范数。
• 将特征裁剪集成到标准HNN架构中，无需修改网络深度或宽度。
• 使用标准反向传播端到端训练HNN，结合裁剪后的嵌入以稳定优化过程。

实验结果

研究问题

• RQ1 为何双曲神经网络在CIFAR10和ImageNet等标准图像识别数据集上表现不佳？
• RQ2 在非层次化数据上训练时，HNN中梯度消失问题的根本原因是什么？
• RQ3 能否通过一种简单的架构正则化技术缓解HNN中的梯度消失问题？
• RQ4 具有有限径向范围的HNN能否在标准视觉基准上实现与欧几里得神经网络相当的性能？
• RQ5 采用特征裁剪的HNN是否能保持甚至提升对抗鲁棒性与分布外检测等优势？

主要发现

• HNN中梯度消失问题主要源于混合架构，即双曲与欧几里得组件在反向传播过程中不稳定交互。
• 特征裁剪通过将双曲嵌入的径向范围限制在有限半径内，有效防止了梯度消失。
• 采用特征裁剪的HNN在MNIST、CIFAR10、CIFAR100和ImageNet上的性能与欧几里得神经网络相当。
• 改进后的HNN在基准数据集上表现出强于标准欧几里得神经网络的对抗鲁棒性。
• 采用特征裁剪的HNN在分布外检测能力方面表现更优，其AUROC分数在OOD基准上更高。
• 该方法简单、高效且具备通用性，除裁剪操作外无需任何架构修改。