[论文解读] Interpreting and Disentangling Feature Components of Various Complexity from DNNs

Jie Ren, Mingjie Li+2 more|arXiv (Cornell University)|Jun 29, 2020

Neural Networks and Applications被引用 8

一句话总结

本文提出一种方法，通过使用计算每个组件所需的非线性层数量来近似复杂度，从而定义、量化并解耦深度神经网络（DNN）中不同复杂度等级的特征组件。该方法揭示了特征复杂度分布与DNN性能之间存在强烈且可量化的关联，其中解耦后的高可靠性、高效率组件显著提升了模型准确率，并为网络压缩和知识蒸馏提供了新见解。

ABSTRACT

This paper aims to define, quantify, and analyze the feature complexity that is learned by a DNN. We propose a generic definition for the feature complexity. Given the feature of a certain layer in the DNN, our method disentangles feature components of different complexity orders from the feature. We further design a set of metrics to evaluate the reliability, the effectiveness, and the significance of over-fitting of these feature components. Furthermore, we successfully discover a close relationship between the feature complexity and the performance of DNNs. As a generic mathematical tool, the feature complexity and the proposed metrics can also be used to analyze the success of network compression and knowledge distillation.

研究动机与目标

• 定义并量化DNN实际学习到的特征复杂度，超越理论上的架构限制。
• 利用解耦网络将中间层特征解耦为不同复杂度等级的组件。
• 分析这些组件在可靠性、有效性及过拟合显著性方面的差异，以实现更深层次的可解释性。
• 建立特征复杂度分布与DNN性能之间的定量关联。
• 通过在网络压缩和知识蒸馏中的应用，验证该方法的普适性。

提出的方法

• 特征复杂度定义为计算某一特征组件所需的最少非线性层数量，通过网络深度近似。
• 训练具有不同深度的解耦网络，以模仿教师DNN的中间特征，每种深度捕获复杂度等级递增的组件。
• 该方法基于知识蒸馏原理，从浅层到深层解耦网络逐步提取更高复杂度的组件。
• 可靠性通过不同架构和超参数下特征组件的一致性进行评估。
• 有效性通过组件对任务的相关性进行衡量，使用Shapley值量化其对损失减少的贡献。
• 过拟合显著性通过其对训练损失与验证损失减少的贡献差异进行量化。

实验结果

研究问题

• RQ1 如何在超越理论架构容量的前提下，正式定义并量化DNN中的实际特征复杂度？
• RQ2 不同复杂度等级下特征组件的分布如何？其分布如何反映任务难度？
• RQ3 特征组件在不同复杂度层级上的可靠性、有效性及过拟合显著性如何变化？
• RQ4 特征复杂度分布与DNN性能之间存在何种关系？
• RQ5 解耦后的特征组件能否提升DNN准确率？其与知识蒸馏和压缩的关系如何？

主要发现

• 不同复杂度等级下特征组件的分布与任务难度密切相关，简单任务主要产生低复杂度特征。
• 当将解耦后的高可靠性、高效率组件用作输入特征时，显著提升了DNN的分类准确率。
• 网络压缩在保留特征组件分布及其可靠性的同时，增加了简单组件的过拟合显著性。
• 与原始DNN相比，知识蒸馏使低复杂度组件更有效，高复杂度组件更可靠且过拟合程度更低。
• 使用复杂度组件的8维特征分布作为输入，线性回归器预测DNN性能的误差远小于实际准确率差距，证实了复杂度与性能之间存在强关联。