[论文解读] Knowledge Consistency between Neural Networks and Beyond

Ruofan Liang, Tianlin Li+3 more|arXiv (Cornell University)|Aug 5, 2019

Adversarial Robustness in Machine Learning参考文献 43被引用 19

一句话总结

本文提出了一种与任务无关的方法，用于解耦并量化预训练深度神经网络中间层之间的知识一致性，将可跨模型重建的特征定义为一致特征。该方法表明，一致的组件更具可靠性，可被用于优化模型，从而提升性能，并通过可测量的特征可靠性与知识保留度，解释知识蒸馏和网络压缩等技术的成功。

ABSTRACT

This paper aims to analyze knowledge consistency between pre-trained deep neural networks. We propose a generic definition for knowledge consistency between neural networks at different fuzziness levels. A task-agnostic method is designed to disentangle feature components, which represent the consistent knowledge, from raw intermediate-layer features of each neural network. As a generic tool, our method can be broadly used for different applications. In preliminary experiments, we have used knowledge consistency as a tool to diagnose representations of neural networks. Knowledge consistency provides new insights to explain the success of existing deep-learning techniques, such as knowledge distillation and network compression. More crucially, knowledge consistency can also be used to refine pre-trained networks and boost performance.

研究动机与目标

• 将深度神经网络之间知识一致性定义为中间层表征的通用诊断工具。
• 解决现有方法在测试准确率之外缺乏用于诊断DNN特征可靠性的数学工具的问题。
• 开发一种无需依赖任务特定标注即可解耦一致与不一致特征成分的方法。
• 通过利用一致知识组件对预训练网络进行优化，实现性能提升。
• 通过知识一致性解释知识蒸馏和网络压缩等成熟深度学习技术的成功。

提出的方法

• 提出一种在不同模糊程度下定义两个DNN之间知识一致性的通用方法，其中一致特征是指可在不同模型间重建的特征。
• 引入一种解耦框架，将中间层特征分解为一致组件（共享知识）与不一致组件（噪声或任务特异性伪影）。
• 在特征重建过程中使用非线性变换，以近似不同层次的模糊度，实现多阶一致性分析。
• 采用重建损失训练一个模型 $g_k$，将一个网络的特征映射到另一网络的一致组件，通过重建质量量化一致性。
• 将该方法应用于诊断特征可靠性、模型压缩以及知识蒸馏分析，通过不一致组件的方差 ($Var(x^\Delta)$) 进行测量。
• 使用 $Var(x^\Delta)$ 作为定量指标，追踪压缩过程中知识的丢失与递归蒸馏过程中知识的丰富化。

实验结果

研究问题

• RQ1 如何在多个模糊程度下正式定义两个DNN之间的知识一致性？
• RQ2 在与任务无关的前提下，能否成功地从原始中间特征中解耦出一致的特征组件？
• RQ3 一致特征是否可作为DNN中高质量表征的可靠代理？
• RQ4 知识一致性在多大程度上能解释知识蒸馏与网络压缩中的性能提升？
• RQ5 不一致特征组件与模型压缩或蒸馏过程中的知识损失之间存在何种关系？

主要发现

• 从中间层解耦出的一致特征组件比不一致组件更具可靠性与预测性。
• 该方法成功诊断了特征可靠性，一致组件与任务性能的相关性高于原始特征。
• 通过 $Var(x^\Delta)$ 量化知识一致性，揭示了知识丢失与网络压缩过程中准确率下降之间的强相关性。
• 在递归知识蒸馏中，不一致组件 ($Var(x^\Delta)$) 随着代际逐渐减少，表明知识在逐步丰富。
• 可视化结果表明，用于细粒度分类的DNN比用于二分类的DNN编码了更多的一致知识，反映出更丰富的特征表征。
• 该方法可通过仅使用一致知识组件对预训练网络进行优化，实现性能提升，且无需额外监督。