[论文解读] Improving Simple Models with Confidence Profiles

Amit Dhurandhar, Karthikeyan Shanmugam+2 more|arXiv (Cornell University)|Jul 19, 2018

Adversarial Robustness in Machine Learning参考文献 18被引用 18

一句话总结

本文提出 ProfWeight 方法，通过利用预训练深度神经网络中间层的置信度特征，提升简单且可解释模型（如决策树、浅层网络）的性能。通过线性探测器生成置信度分数，并基于这些分数（特别是置信度曲线下的面积）对训练样本进行加权，该方法在保持模型简单的同时显著提升准确率，包括在真实制造数据集上实现 13% 的性能提升，以及在 CIFAR-10 上使用参数极少的模型实现 3–4% 的准确率增益。

ABSTRACT

In this paper, we propose a new method called ProfWeight for transferring information from a pre-trained deep neural network that has a high test accuracy to a simpler interpretable model or a very shallow network of low complexity and a priori low test accuracy. We are motivated by applications in interpretability and model deployment in severely memory constrained environments (like sensors). Our method uses linear probes to generate confidence scores through flattened intermediate representations. Our transfer method involves a theoretically justified weighting of samples during the training of the simple model using confidence scores of these intermediate layers. The value of our method is first demonstrated on CIFAR-10, where our weighting method significantly improves (3-4%) networks with only a fraction of the number of Resnet blocks of a complex Resnet model. We further demonstrate operationally significant results on a real manufacturing problem, where we dramatically increase the test accuracy of a CART model (the domain standard) by roughly 13%.

研究动机与目标

• 在模型可解释性和低资源消耗至关重要的场景中，提升简单、可解释模型（如决策树、Lasso、浅层网络）的性能。
• 在不微调深度网络的前提下，将高精度预训练深度神经网络的知识迁移至更简单的模型。
• 开发一种与模型无关、理论基础坚实的样本重加权方法，基于中间层的置信度特征进行。
• 在内存和功耗受限的环境中（如物联网设备和无人机）实现高精度、轻量级模型的部署。
• 解决蒸馏和校准方法在学生模型极简且结构固定时的知识迁移局限性。

提出的方法

• 在预训练深度神经网络的中间层附加线性探测器（带 Softmax 的逻辑分类器），以提取真实类别标签的置信度分数。
• 通过绘制每个输入样本在多个中间层上真实类别置信度分数的序列，构建置信度特征曲线。
• 将置信度特征曲线下的面积（AUC）用作样本加权函数，优先处理较简单的样本进行简单模型的训练。
• 使用基于置信度特征 AUC 或通过小型神经网络学习得到的样本权重，进行加权经验风险最小化训练简单模型。
• 根据目标简单模型的复杂度选择中间层，重点关注能反映有意义表征进展的层。
• 推理过程中仅使用预训练网络的前向传播，避免对深度网络进行梯度更新。

实验结果

研究问题

• RQ1 深度神经网络中间层的置信度特征是否能有效识别出对简单模型而言更简单的样本，从而提升泛化性能？
• RQ2 基于置信度特征 AUC 对训练样本进行重加权，是否能在不增加模型复杂度的前提下显著提升简单模型的准确率？
• RQ3 该方法是否能在小样本和资源受限的场景下，实现从复杂高精度模型到简单可解释模型的知识迁移？
• RQ4 在学生模型极简的场景下，ProfWeight 与蒸馏和基于校准的迁移方法相比表现如何？
• RQ5 该方法在真实工业应用（如制造缺陷检测）中是否具备实际可操作性？

主要发现

• ProfWeight 在参数量仅为完整 ResNet 的一小部分（0.27M vs. 2.5M）的简单神经网络上，于 CIFAR-10 上实现了 3–4% 的准确率提升，证明了在极简模型下仍具备强大性能增益。
• 在真实制造数据集上，ProfWeight 将已为领域标准的 CART 决策树测试准确率提升了约 13%，展现出显著的实际应用价值。
• 置信度特征 AUC 是样本难度的强指标，AUC 值越高表示样本越简单，基于 AUC 的加权策略带来了稳定且一致的性能提升。
• 与温度缩放和标准蒸馏方法相比，ProfWeight 表现更优，尤其在学生模型极小且结构固定时优势更明显。
• 该方法具有模型无关性，在简单模型的训练数据与预训练深度网络所用数据不一致时仍有效，支持小样本场景下的知识迁移。
• 该方法使高精度、轻量级模型在内存和功耗受限的环境（如物联网和无人机）中得以部署，而这些场景下深度网络难以适用。