[论文解读] DNN or k-NN: That is the Generalize vs. Memorize Question

Guy Cohen, Guillermo Sapiro+1 more|arXiv (Cornell University)|May 17, 2018

Neural Networks and Applications参考文献 27被引用 13

一句话总结

本文通过将深度神经网络（DNNs）的预测结果与应用于学习到的特征表示的k-NN、SVM和逻辑回归分类器进行比较，研究了DNNs如何同时实现泛化和记忆。研究发现，当DNNs在嵌入空间中近似k-NN决策时，它们表现出泛化行为；而在记忆化时，其行为则偏离k-NN——表明记忆与泛化共存且相辅相成，而非相互矛盾。

ABSTRACT

This paper studies the relationship between the classification performed by deep neural networks (DNNs) and the decision of various classical classifiers, namely k-nearest neighbours (k-NN), support vector machines (SVM) and logistic regression (LR), at various layers of the network. This comparison provides us with new insights as to the ability of neural networks to both memorize the training data and generalize to new data at the same time, where k-NN serves as the ideal estimator that perfectly memorizes the data. We show that memorization of non-generalizing networks happens only at the last layers. Moreover, the behavior of DNNs compared to the linear classifiers SVM and LR is quite the same on the training and test data regardless of whether the network generalizes. On the other hand, the similarity to k-NN holds only at the absence of overfitting. Our results suggests that k-NN behavior of the network on new data is a sign of generalization. Moreover, it shows that memorization and generalization, which are traditionally considered to be contradicting to each other, are compatible and complementary.

研究动机与目标

• 研究深度神经网络中记忆与泛化共存的现象，传统上认为这两者是相互冲突的属性。
• 分析DNNs的决策边界与经典分类器（k-NN、SVM、LR）在不同网络层上的对比，以理解泛化与记忆的机制。
• 确定在特征空间中k-NN行为是否可作为DNNs中泛化与记忆的标志。
• 识别记忆在神经网络架构中发生的时间与位置，特别是与训练动态和过拟合的关系。
• 探索DNN预测与k-NN决策之间的一致性是否可作为泛化性能的指标。

提出的方法

• 在CIFAR-10/100和MNIST数据集上训练标准DNNs（Wide-ResNet、LeNet、MLP），并使用或不使用数据增强和正则化，以控制过拟合。
• 从每个隐藏层提取特征表示，并对这些嵌入应用k-NN、SVM和逻辑回归分类器。
• 使用Kullback-Leibler（KL）散度作为度量，比较DNN的softmax输出分布与经典分类器的预测结果。
• 在整个训练过程中，跟踪DNN预测与每个经典分类器（k-NN、SVM、LR）预测之间的KL散度，分别在训练集和测试集上进行。
• 将记忆定义为训练准确率首次达到100%的时刻，并在该点分析KL散度在训练集与测试集之间趋势的偏离。
• 使用DNN与k-NN预测结果的一致概率（P_SAME）来量化训练过程中k-NN行为的程度。

实验结果

研究问题

• RQ1 DNN在学习到的特征空间中的预测行为是否与k-NN决策一致？在何种条件下一致？
• RQ2 DNN预测与经典分类器（k-NN、SVM、LR）之间的相似性在训练过程中如何演变，特别是在泛化与记忆关系中的表现？
• RQ3 记忆主要发生在网络的哪一层？这与网络泛化性能有何关联？
• RQ4 k-NN与DNN之间KL散度趋势在训练集与测试集上的偏离，能否作为过拟合或记忆的指标？
• RQ5 DNN特征空间中k-NN行为是否代表泛化？在随机标签被记忆或出现过拟合时，该行为是否会消失？

主要发现

• DNNs仅在泛化良好时才表现出类似k-NN的特征空间行为；一旦发生记忆，这种对齐关系即被打破。
• 在泛化阶段，DNN与k-NN预测之间的KL散度在训练集与测试集上趋势一致；但在记忆后，这种趋势出现偏离，尤其在测试集上更为明显。
• 对于在真实数据上训练的深层网络，训练结束时DNN与k-NN做出相同预测的概率接近100%，表明其对k-NN具有强近似能力。
• 记忆主要发生在网络的最后几层，表现为训练准确率突然升至100%以及KL散度趋势的偏离。
• 当在随机标签上进行训练时，DNN与k-NN预测之间的KL散度在记忆发生后立即在训练集与测试集上出现偏离，确认了过拟合现象。
• k-NN与DNN在训练集与测试集上KL散度趋势的一致性是泛化的可靠指标，其趋势的偏离则预示着过拟合。