[论文解读] Low Rank Structure of Learned Representations.

Amartya Sanyal, Varun Kanade+1 more|arXiv (Cornell University)|Apr 19, 2018

Adversarial Robustness in Machine Learning参考文献 36被引用 11

一句话总结

本文研究了在 CIFAR-10 和 CIFAR-100 上训练的深度神经网络（特别是 ResNet-18、ResNet-50 和 VGG-19）中学习表征的低秩结构。提出了一种训练修改方法，可在不损失准确率的前提下，通过在网络各层鼓励低秩激活，提升模型压缩效率和对对抗样本的鲁棒性。

ABSTRACT

A key feature of neural networks, particularly deep convolutional neural networks, is their ability to learn useful representations from data. The very last layer of a neural network is then simply a linear model trained on these representations. Despite their numerous applications in other tasks such as classification, retrieval, clustering etc., a.k.a. transfer learning, not much work has been published that investigates the structure of these representations or whether structure can be imposed on them during the training process. In this paper, we study the dimensionality of the learned representations by models that have proved highly succesful for image classification. We focus on ResNet-18, ResNet-50 and VGG-19 and observe that when trained on CIFAR10 or CIFAR100 datasets, the learned representations exhibit a fairly low rank structure. We propose a modification to the training procedure, which further encourages low rank representations of activations at various stages in the neural network. Empirically, we show that this has implications for compression and robustness to adversarial examples.

研究动机与目标

• 探究最先进图像分类模型中学习表征的固有维度。
• 确定如 ResNet-18、ResNet-50 和 VGG-19 等深度网络的激活中是否存在低秩结构。
• 探索在训练过程中施加低秩结构是否能提升模型效率与鲁棒性。
• 评估低秩表征对模型压缩和对抗鲁棒性的影响。

提出的方法

• 分析在训练模型中多个层的激活特征图的奇异值分解（SVD）。
• 发现训练模型中的激活表现出低秩结构，尤其在深层网络中更为显著。
• 提出一种修改后的训练流程，在反向传播过程中对特征图施加低秩正则化。
• 采用秩约束优化方法，在不改变网络架构的前提下，鼓励低秩表征。
• 将该方法应用于在 CIFAR-10 和 CIFAR-100 数据集上的 ResNet-18、ResNet-50 和 VGG-19 模型。
• 通过实验评估该方法对模型压缩效率和对抗攻击鲁棒性的影响。

实验结果

研究问题

• RQ1 深度卷积神经网络中学习到的表征是否表现出低秩结构？
• RQ2 是否可以在不降低性能的前提下，通过训练过程显式鼓励低秩结构？
• RQ3 强制低秩表征如何影响模型压缩效率？
• RQ4 低秩表征是否能提升对对抗样本的鲁棒性？
• RQ5 中间激活的秩与泛化性能之间存在何种关系？

主要发现

• 在 CIFAR-10 和 CIFAR-100 上训练的 ResNet-18、ResNet-50 和 VGG-19 模型，其激活特征图表现出显著的低秩结构。
• 所提出的训练修改方法成功地在模型的多个网络层中鼓励了低秩表征。
• 采用低秩正则化的模型在保持与标准训练相当准确率的同时，实现了更高的压缩效率。
• 与基线模型相比，低秩正则化模型在对抗样本攻击下表现出更强的鲁棒性。
• 深层网络中的激活特征秩显著降低，表明存在分层的低维表征学习机制。