[论文解读] Regularizing CNNs with Locally Constrained Decorrelations

Pau Rodríguez, Jordi Gonzàlez+3 more|arXiv (Cornell University)|Nov 7, 2016

Advanced Neural Network Applications被引用 50

一句话总结

本文提出OrthoReg，一种新颖的权重正则化技术，通过仅解耦正相关的卷积核滤波器，强制卷积神经网络中特征检测器的局部正交性。通过避免负相关权重的干扰，OrthoReg实现了更高的解耦合度上限，比以往的特征解耦合方法更有效地减少过拟合，并在CIFAR-10、CIFAR-100和SVHN上提升了测试准确率，即使与批量归一化和Dropout结合使用亦然。

ABSTRACT

Regularization is key for deep learning since it allows training more complex models while keeping lower levels of overfitting. However, the most prevalent regularizations do not leverage all the capacity of the models since they rely on reducing the effective number of parameters. Feature decorrelation is an alternative for using the full capacity of the models but the overfitting reduction margins are too narrow given the overhead it introduces. In this paper, we show that regularizing negatively correlated features is an obstacle for effective decorrelation and present OrthoReg, a novel regularization technique that locally enforces feature orthogonality. As a result, imposing locality constraints in feature decorrelation removes interferences between negatively correlated feature weights, allowing the regularizer to reach higher decorrelation bounds, and reducing the overfitting more effectively. In particular, we show that the models regularized with OrthoReg have higher accuracy bounds even when batch normalization and dropout are present. Moreover, since our regularization is directly performed on the weights, it is especially suitable for fully convolutional neural networks, where the weight space is constant compared to the feature map space. As a result, we are able to reduce the overfitting of state-of-the-art CNNs on CIFAR-10, CIFAR-100, and SVHN.

研究动机与目标

• 解决现有特征解耦合正则化器因负相关特征权重干扰而导致的有效性受限问题。
• 通过利用完整的参数空间，在不降低模型容量的前提下提升模型泛化能力。
• 开发一种直接应用于网络权重的计算高效正则化方法，适用于全卷积网络。
• 证明局部解耦合约束可实现更高的解耦合度上限，并更有效地减少过拟合。
• 在标准基准（CIFAR-10、CIFAR-100、SVHN）上实现最先进性能，且计算开销极低。

提出的方法

• 提出一种新颖的正则化技术OrthoReg，强制特征检测器权重向量之间的局部正交性。
• 使用余弦相似度作为权重向量之间相关性的度量，聚焦于向量间的角度以避免幅度影响。
• 仅对正相关的特征对施加正则化，避免负相关权重的干扰。
• 将正则化项公式化为可微分的损失项，惩罚局部邻域内非正交的权重向量。
• 在反向传播过程中直接将正则化项整合到权重更新过程中，使其在全卷积网络中计算高效。
• 在ResNet和Wide ResNet等深层网络的所有卷积层中统一应用该正则化方法。

实验结果

研究问题

• RQ1 在深度卷积神经网络中，特征解耦合的局部约束是否能提升正则化的有效性？
• RQ2 在解耦合过程中排除负相关特征权重，是否能实现更高的解耦合度上限并带来更好的泛化性能？
• RQ3 像OrthoReg这样的权重空间正则化方法，是否能在准确率和计算效率上超越激活空间的解耦合方法？
• RQ4 当与批量归一化和Dropout等其他正则化技术结合时，OrthoReg是否仍能提升性能？
• RQ5 OrthoReg是否能在CIFAR-10、CIFAR-100和SVHN等标准视觉基准上实现最先进结果？

主要发现

• 在110层ResNet中，OrthoReg将CIFAR-10的测试误差从6.55%降低至6.29%，即使未使用数据增强。
• 在Wide ResNet v2上，OrthoReg在CIFAR-10上实现5.1%的相对误差降低（从3.89%降至3.69%），在CIFAR-100上实现1.5%的相对提升（从18.85%降至18.56%）。
• 在SVHN上，OrthoReg将误差从1.64%降至1.54%，在发表时达到该数据集的最低报告误差率。
• 该方法即使在与批量归一化和Dropout结合时，仍能持续提升准确率，表明其对现有正则化技术具有鲁棒性。
• 权重空间正则化显著快于激活空间正则化，OrthoReg的FLOPs数量级远低于基于激活的解耦合方法。
• 性能提升归因于避免了负相关权重的干扰，使正则化器能够达到更高的解耦合度上限，更有效地减少过拟合。