[论文解读] How does Weight Correlation Affect Generalisation Ability of Deep Neural Networks

Gaojie Jin, Xinping Yi+4 more|arXiv (Cornell University)|Sep 27, 2020

Neural Networks and Applications被引用 4

一句话总结

本文提出将权重相关性作为神经网络复杂度的新度量，并将其整合进PAC-Bayesian框架以改进泛化界。通过提出一种新型正则化项来降低权重相关性，作者在多个实验中显著减少了泛化误差，优于现有复杂度度量方法。

ABSTRACT

This paper studies the novel concept of weight correlation in deep neural networks and discusses its impact on the networks' generalisation ability. For fully-connected layers, the weight correlation is defined as the average cosine similarity between weight vectors of neurons, and for convolutional layers, the weight correlation is defined as the cosine similarity between filter matrices. Theoretically, we show that, weight correlation can, and should, be incorporated into the PAC Bayesian framework for the generalisation of neural networks, and the resulting generalisation bound is monotonic with respect to the weight correlation. We formulate a new complexity measure, which lifts the PAC Bayes measure with weight correlation, and experimentally confirm that it is able to rank the generalisation errors of a set of networks more precisely than existing measures. More importantly, we develop a new regulariser for training, and provide extensive experiments that show that the generalisation error can be greatly reduced with our novel approach.

研究动机与目标

• 研究权重相关性（定义为权重向量之间的余弦相似度）如何影响深度神经网络的泛化能力。
• 通过将权重相关性纳入泛化界，扩展PAC-Bayesian框架。
• 开发一种新的复杂度度量，其对泛化误差的排序优于现有方法。
• 设计并评估一种新型正则化项，可在训练过程中显式控制权重相关性。

提出的方法

• 将权重相关性定义为全连接层中神经元权重向量之间的平均余弦相似度，以及卷积层中滤波器矩阵之间的平均余弦相似度。
• 理论上将权重相关性整合进PAC-Bayesian框架，推导出关于权重相关性单调的泛化界。
• 提出一种新的复杂度度量，通过将权重相关性作为结构正则项，提升标准PAC-Bayes界。
• 设计一种可微分的正则化项，在反向传播过程中惩罚高权重相关性，以促进训练后权重相关性降低。
• 在多个网络架构和数据集上，训练带有与不带该正则化项的网络，以评估泛化性能。
• 通过经验泛化误差排序，将所提复杂度度量与现有度量进行对比。

实验结果

研究问题

• RQ1 权重相关性如何影响深度神经网络的泛化性能？
• RQ2 能否将权重相关性正式纳入PAC-Bayesian泛化界，以获得更紧致且更具信息量的界？
• RQ3 一种包含权重相关性的复杂度度量是否能比现有度量更准确地预测泛化误差？
• RQ4 一种能降低权重相关性的正则化项是否能在训练过程中带来更好的泛化性能？
• RQ5 在实践中，该方法与当前最先进的复杂度度量和正则化技术相比表现如何？

主要发现

• 所提出的包含权重相关性的泛化界关于相关性单调，即相关性越低，界越紧。
• 所提出的复杂度度量通过引入权重相关性，对不同网络的泛化误差排序优于现有度量。
• 所提出的正则化项在多个数据集和网络架构上显著降低了泛化误差。
• 实验结果证实，使用新正则化项训练的模型相比基线模型，测试误差更低。
• 该方法在泛化性能上表现出一致的改进，验证了关于权重相关性在泛化中作用的理论主张。