[论文解读] Layer rotation: a surprisingly powerful indicator of generalization in deep networks?

Simon Carbonnelle, Christophe De Vleeschouwer|arXiv (Cornell University)|Jun 5, 2018

Neural Networks and Applications被引用 5

一句话总结

本文提出层旋转（layer rotation）——即某一层最终权重与初始化权重之间的余弦距离——作为深度神经网络泛化性能的强大且一致的指标。实证结果表明，较大的层旋转（尤其是余弦距离达到1）与更高的测试准确率显著相关，最高可提升30%，且该指标为理解权重衰减、初始学习率和自适应优化器的影响提供了统一框架。

ABSTRACT

Our work presents extensive empirical evidence that layer rotation, i.e. the evolution across training of the cosine distance between each layer's weight vector and its initialization, constitutes an impressively consistent indicator of generalization performance. In particular, larger cosine distances between final and initial weights of each layer consistently translate into better generalization performance of the final model. Interestingly, this relation admits a network independent optimum: training procedures during which all layers' weights reach a cosine distance of 1 from their initialization consistently outperform other configurations -by up to 30% test accuracy. Moreover, we show that layer rotations are easily monitored and controlled (helpful for hyperparameter tuning) and potentially provide a unified framework to explain the impact of learning rate tuning, weight decay, learning rate warmups and adaptive gradient methods on generalization and training speed. In an attempt to explain the surprising properties of layer rotation, we show on a 1-layer MLP trained on MNIST that layer rotation correlates with the degree to which features of intermediate layers have been trained.

研究动机与目标

• 识别在多种深度学习训练设置中具有普遍性、一致性和可解释性的泛化性能指标。
• 探究训练过程中权重向量的演化——特别是其与初始化的角偏离度——是否与测试准确率相关。
• 确定层旋转是否能统一理解广泛使用的训练技术（如学习率调度、权重衰减和自适应优化器）的影响。
• 为实践者提供一种简单、可监控且可控制的指标，用于超参数调优。

提出的方法

• 层旋转定义为每层最终权重向量与初始权重向量之间的余弦距离，每轮训练后计算一次。
• 作者实现了一种名为SGD_AMom的训练方案，通过调整随机梯度下降中的动量项来控制层旋转。
• 他们采用受控实验设置，在简化版MNIST数据集上的1层MLP上可视化不同层旋转水平对学习特征的影响。
• 在多种架构（如ResNet、VGG）、数据集（如CIFAR-10、ImageNet）和训练流程（SGD、Adam、权重衰减）上开展一系列实验，以验证泛化趋势。
• 该方法包含一个公开的Keras和TensorFlow工具集，用于监控和控制层旋转，使实践者能够基于此指标调优训练动态。
• 通过在1层MLP上的可视化，探索了理论直觉，将层旋转与特征学习的程度而非特征本身联系起来。

实验结果

研究问题

• RQ1 网络权重的角演化（即层旋转）是否在多种架构和数据集中一致地与泛化性能相关？
• RQ2 是否存在一个与网络无关的层旋转最优值，能最大化测试准确率？
• RQ3 层旋转能否作为统一框架，解释学习率调优、权重衰减和自适应梯度方法的影响？
• RQ4 层旋转与中间层中特征学习的程度有何关系？
• RQ5 能否在训练过程中监控和控制层旋转，以实现最小超参数调优下的模型性能提升？

主要发现

• 更大的层旋转——特别是余弦距离趋近于1.0——始终带来更好的泛化性能，相比旋转较小的配置，测试准确率最高可提升30%。
• 最优层旋转值与网络架构无关：所有层与初始化的余弦距离达到1.0时，泛化性能最佳。
• 层旋转与中间特征被学习的程度强相关，而非与学习了哪些特征相关，这一点在MNIST上的1层MLP中已得到验证。
• 能实现高阶层旋转的训练方法（如SGD_AMom）在训练速度上可与自适应优化器（如Adam）比肩甚至超越，尽管其不进行参数级自适应。
• 层旋转可在训练过程中轻松监控和控制，为超参数调优提供实用工具，且额外计算成本极低。
• 该方法为学习率调度、权重衰减和自适应方法在泛化性能和训练速度上的影响提供了统一解释。