[论文解读] Fiedler Regularization: Learning Neural Networks with Graph Sparsity

Edric Tam, David B. Dunson|arXiv (Cornell University)|Mar 2, 2020

Advanced Graph Neural Networks参考文献 26被引用 7

一句话总结

本文提出Fiedler正则化，一种基于谱图理论的新型方法，通过利用神经网络图结构的Fiedler值（代数连通性）来诱导稀疏性并减少训练过程中的共适应性。通过惩罚图拉普拉斯矩阵的第二小特征值（即Fiedler值）来抑制高连通性，该方法在泛化性能上优于L1和Dropout等标准正则化技术，具有理论保证且支持高效的变分计算。

ABSTRACT

We introduce a novel regularization approach for deep learning that incorporates and respects the underlying graphical structure of the neural network. Existing regularization methods often focus on dropping/penalizing weights in a global manner that ignores the connectivity structure of the neural network. We propose to use the Fiedler value of the neural network's underlying graph as a tool for regularization. We provide theoretical support for this approach via spectral graph theory. We list several useful properties of the Fiedler value that makes it suitable in regularization. We provide an approximate, variational approach for fast computation in practical training of neural networks. We provide bounds on such approximations. We provide an alternative but equivalent formulation of this framework in the form of a structurally weighted L1 penalty, thus linking our approach to sparsity induction. We performed experiments on datasets that compare Fiedler regularization with traditional regularization methods such as dropout and weight decay. Results demonstrate the efficacy of Fiedler regularization.

研究动机与目标

• 解决现有正则化方法对神经网络权重一视同仁的问题，忽略了其潜在的图结构。
• 开发一种显式尊重神经网络架构连通性与拓扑结构的正则化方法，以减少共适应性和过拟合。
• 提出一种理论基础坚实、计算可行的方法，利用谱图理论在深层神经网络中诱导结构稀疏性。
• 建立Fiedler正则化与结构加权L1惩罚形式之间的联系，以实现稀疏性诱导。
• 在图像分类基准上，通过实证验证该方法相较于Dropout和权重衰减等标准基线的性能。

提出的方法

• 使用权重绝对值作为边权重，将神经网络形式化为无向、加权、简单图。
• 定义图拉普拉斯矩阵 $\mathbf{L} = \mathbf{D} - |\mathbf{W}|$，并使用其第二小特征值 $\lambda_2$（即Fiedler值）作为正则化惩罚项。
• 证明Fiedler值是权重大小的凹函数，从而确保优化过程具有有利性质。
• 推导出Fiedler值相对于网络权重的闭式梯度，支持端到端反向传播。
• 提出一种变分近似方法，利用拉普拉斯矩阵与测试向量的二次型加速训练过程中的计算。
• 将惩罚项重述为结构加权L1范数，其中权重由拉普拉斯矩阵的第二特征向量导出，从而与稀疏性诱导技术建立联系。

实验结果

研究问题

• RQ1 神经网络图结构的Fiedler值能否作为有效的、结构感知的正则化惩罚项，以减少共适应性？
• RQ2 与L1、L2和Dropout等标准方法相比，Fiedler正则化在泛化能力和训练动态方面表现如何？
• RQ3 尽管计算复杂度较高，Fiedler值能否在深度学习训练过程中实现高效计算与优化？
• RQ4 与均匀L1或Dropout相比，Fiedler正则化是否能生成更稀疏、更鲁棒的神经网络架构？
• RQ5 Fiedler正则化框架能否扩展至更复杂的架构，如ResNets或含全连接层的卷积网络？

主要发现

• 与L1和Dropout相比，Fiedler正则化在MNIST和CIFAR10上的测试性能显著提升，后者因均匀惩罚而表现欠佳。
• 在Fiedler正则化下，Fiedler值在训练过程中逐渐减小，表明网络连通性得到受控降低；而L1导致连通性迅速断裂并引发不稳定性。
• 该方法的训练速度与标准正则化技术相当，仅因谱计算引入轻微开销。
• Fiedler惩罚的变分近似可实现显著加速，同时保持优异性能，使其适用于大规模网络。
• Fiedler正则化框架具有坚实的理论基础，且可推广至多种架构，包括含跳跃连接的ResNets。
• 结构加权L1形式化为稀疏性诱导提供了直接联系，为统一L1惩罚提供了一种更合理的替代方案。