[论文解读] Learning towards Minimum Hyperspherical Energy

Weiyang Liu, Rongmei Lin+5 more|arXiv (Cornell University)|May 23, 2018

Advanced Neural Network Applications参考文献 59被引用 5

一句话总结

本文提出最小超球能（Minimum Hyperspherical Energy, MHE），一种新颖的正则化方法，通过最小化神经元权重在超球面上的静电势能，促进角度多样性并减少冗余。受物理学中汤姆森问题的启发，MHE 能够均匀分布神经元投影，在图像分类、类别不平衡学习以及大规模人脸验证任务中提升深度神经网络的泛化性能，在 LFW 和 MegaFace 数据集上取得了当前最优结果。

ABSTRACT

Neural networks are a powerful class of nonlinear functions that can be trained end-to-end on various applications. While the over-parametrization nature in many neural networks renders the ability to fit complex functions and the strong representation power to handle challenging tasks, it also leads to highly correlated neurons that can hurt the generalization ability and incur unnecessary computation cost. As a result, how to regularize the network to avoid undesired representation redundancy becomes an important issue. To this end, we draw inspiration from a well-known problem in physics -- Thomson problem, where one seeks to find a state that distributes N electrons on a unit sphere as evenly as possible with minimum potential energy. In light of this intuition, we reduce the redundancy regularization problem to generic energy minimization, and propose a minimum hyperspherical energy (MHE) objective as generic regularization for neural networks. We also propose a few novel variants of MHE, and provide some insights from a theoretical point of view. Finally, we apply neural networks with MHE regularization to several challenging tasks. Extensive experiments demonstrate the effectiveness of our intuition, by showing the superior performance with MHE regularization.

研究动机与目标

• 为解决过参数化深度神经网络中神经元表示冗余及高相关性的问题。
• 通过促进神经元权重投影的角度多样性，提升泛化性能。
• 开发一种原理清晰、通用的正则化框架，适用于不同网络架构和任务。
• 为超球能最小化提供理论基础，以实现神经元表示的均匀分布。
• 在大规模人脸验证和类别不平衡学习等挑战性任务中提升性能。

提出的方法

• 提出最小超球能（MHE）作为正则化目标，通过最小化单位超球面上神经元权重向量的势能，受汤姆森问题启发。
• 使用神经元投影之间的成对角度距离定义超球能，能量越低表示分布越均匀、多样性越高。
• 提出角度-MHE（A-MHE），采用角度距离而非欧氏距离进行能量计算，更契合深度学习对角度特征的关注。
• 为隐藏层设计半空间 MHE，通过引入虚拟负神经元，防止共线神经元配置。
• 在输出层应用 MHE，通过将分类器神经元均匀分布在完整超球面上，增强类别间可分性。
• 在大规模场景（如人脸验证）中使用 MHE 的小批量近似，降低计算成本。

实验结果

研究问题

• RQ1 最小化超球能是否能通过减少特征冗余，提升深度神经网络的泛化性能？
• RQ2 MHE 与正交化或对比学习等现有正则化方法相比，在促进角度多样性方面表现如何？
• RQ3 MHE 是否能有效应用于隐藏层和输出层，并实现一致的性能提升？
• RQ4 MHE 是否能提升大规模人脸验证基准（如 LFW 和 MegaFace）上的性能？
• RQ5 MHE 是否能与现有损失函数（如 SphereFace）结合，进一步提升当前最优性能？

主要发现

• SphereFace+ 搭载 MHE 正则化后，在 LFW 上达到 99.47% 的准确率，在 MegaFace 上达到 73.03% 的 rank-1 准确率，显著优于 SphereFace。
• 在 SphereFace-64 架构上，MHE 将 MegaFace 准确率从 72.72%（SphereFace）提升至 73.03%，表明在不同网络深度下均具有一致的性能增益。
• MHE 在多种任务中持续提升性能，包括通用图像分类、类别不平衡学习以及基于 GAN 的图像生成。
• 半空间 MHE 变体成功防止了隐藏层中的共线神经元配置，避免了残余冗余。
• MHE 提供了一种即插即用的正则化方案，可在不改变网络结构的前提下增强如 SphereFace 等现有模型。
• 该方法在不同网络架构和超参数设置下均表现出良好的泛化能力、鲁棒性与可扩展性。