[论文解读] Modeling Information Flow Through Deep Neural Networks

Ahmad Chaddad, Behnaz Naisiri+4 more|arXiv (Cornell University)|Nov 29, 2017

Domain Adaptation and Few-Shot Learning参考文献 30被引用 3

一句话总结

本文提出了条件神经激活微熵（CENT），一种新颖的信息论框架，通过计算在类别 C 和滤波器组 F 条件下滤波器响应 Y 的条件熵 H(Y|C,F)，来建模深度神经网络中的信息流动。从训练好的 CNN 中提取的 CENT 特征，仅使用极少参数即实现了最先进性能，在阿尔茨海默病分类（AUC=94.6%）和迁移学习（AUC 与 1000 维 softmax 输出相当）中均优于原始 CNN 的 softmax 输出。

ABSTRACT

This paper proposes a principled information theoretic analysis of classification for deep neural network structures, e.g. convolutional neural networks (CNN). The output of convolutional filters is modeled as a random variable Y conditioned on the object class C and network filter bank F. The conditional entropy (CENT) H(Y |C,F) is shown in theory and experiments to be a highly compact and class-informative code, that can be computed from the filter outputs throughout an existing CNN and used to obtain higher classification results than the original CNN itself. Experiments demonstrate the effectiveness of CENT feature analysis in two separate CNN classification contexts. 1) In the classification of neurodegeneration due to Alzheimer's disease (AD) and natural aging from 3D magnetic resonance image (MRI) volumes, 3 CENT features result in an AUC=94.6% for whole-brain AD classification, the highest reported accuracy on the public OASIS dataset used and 12% higher than the softmax output of the original CNN trained for the task. 2) In the context of visual object classification from 2D photographs, transfer learning based on a small set of CENT features identified throughout an existing CNN leads to AUC values comparable to the 1000-feature softmax output of the original network when classifying previously unseen object categories. The general information theoretical analysis explains various recent CNN design successes, e.g. densely connected CNN architectures, and provides insights for future research directions in deep learning.

研究动机与目标

• 开发一种系统性信息论框架，用于分析深度神经网络中的信息流动。
• 解决残差连接或密集连接网络等启发式 CNN 设计改进背后缺乏统一理论理解的问题。
• 从训练好的 CNN 中识别出紧凑且与类别相关的特征，其性能优于 softmax 等标准输出表示。
• 在无需微调的情况下，利用从现有 CNN 中提取的少量特征，实现高效的迁移学习。

提出的方法

• 将卷积滤波器的输出建模为在对象类别 C 和滤波器组 F 条件下的随机变量 Y。
• 通过计算条件熵 H(Y|C,F) 作为信息含量的度量，称为 CENT 特征。
• 将 CENT 特征用作紧凑且具有类别判别力的编码，用于图像分类，替代或补充传统 CNN 输出。
• 在 CENT 特征上应用随机森林分类器，以评估其在疾病分类和迁移学习中的性能。
• 在多个卷积层上分层计算 CENT，以聚合来自网络不同深度的信息。
• 在消融实验和迁移学习设置中，将 CENT 性能与原始 CNN 的 softmax 输出进行对比。

实验结果

研究问题

• RQ1 滤波器响应的条件熵 H(Y|C,F) 是否可作为深度网络中图像分类的高信息量且紧凑的编码？
• RQ2 与 softmax 等标准 CNN 输出相比，CENT 特征提取是否能提升分类性能？
• RQ3 一组少量 CENT 特征是否可实现对先前未见对象类别的有效迁移学习？
• RQ4 该信息论框架如何解释现代 CNN 架构（如密集连接网络）的成功？
• RQ5 ReLU 归一化对 CENT 特征质量及分类性能有何影响？

主要发现

• 仅从三个卷积层提取的 CENT 特征在 OASIS 数据集的 3D MRI 扫描中对阿尔茨海默病分类的 AUC 达到 94.6%，比原始 CNN 的 softmax 输出高出 12%。
• 在迁移学习中，从预训练 CNN 中提取的一组少量 CENT 特征在分类 10 个新对象类别时，AUC 值与完整 1000 维 softmax 层相当。
• 在经过 ReLU 归一化后计算 CENT 特征，性能显著提升，表明归一化后的非双峰响应可增强类别判别能力。
• 由随机森林模型选择的 CENT 特征对应于网络更深层的滤波器，表明高层特征表示对分类最具信息量。
• 该框架通过展示层间信息整合可提升分类性能，从而解释了密集连接网络等现代架构成功的原因。
• 结果表明，为唯一编码 N 个对象类别，至少需要 log₂N 个 CENT 特征，为 CNN 的规模扩展提供了理论依据。