[论文解读] How deep is deep enough? -- Quantifying class separability in the hidden layers of deep neural networks

Achim Schilling, Claus Metzner+4 more|arXiv (Cornell University)|Nov 5, 2018

Neural Networks and Applications参考文献 36被引用 8

一句话总结

本文提出了广义判别值（GDV），一种非侵入性度量方法，用于量化深度神经网络隐藏层中的类别可分性。GDV揭示了最优网络深度源于可分性动态中的特征‘能垒’，且GDV曲线在不同架构间遵循普遍的‘主曲线’，从而实现超参数自动调优，并深化对表征学习的理解。

ABSTRACT

Deep neural networks typically outperform more traditional machine learning models in their ability to classify complex data, and yet is not clear how the individual hidden layers of a deep network contribute to the overall classification performance. We thus introduce a Generalized Discrimination Value (GDV) that measures, in a non-invasive manner, how well different data classes separate in each given network layer. The GDV can be used for the automatic tuning of hyper-parameters, such as the width profile and the total depth of a network. Moreover, the layer-dependent GDV(L) provides new insights into the data transformations that self-organize during training: In the case of multi-layer perceptrons trained with error backpropagation, we find that classification of highly complex data sets requires a temporal {\em reduction} of class separability, marked by a characteristic 'energy barrier' in the initial part of the GDV(L) curve. Even more surprisingly, for a given data set, the GDV(L) is running through a fixed 'master curve', independently from the total number of network layers. Furthermore, applying the GDV to Deep Belief Networks reveals that also unsupervised training with the Contrastive Divergence method can systematically increase class separability over tens of layers, even though the system does not 'know' the desired class labels. These results indicate that the GDV may become a useful tool to open the black box of deep learning.

研究动机与目标

• 为解决缺乏用于评估深度神经网络隐藏层中类别可分性的定量工具的问题。
• 理解单个网络层如何对整体分类性能做出贡献。
• 开发一种自动超参数调优方法，如网络深度和宽度配置。
• 研究无监督训练是否能系统性地提升各层的类别可分性。
• 揭示在不同架构和数据集之间表征学习的普遍模式。

提出的方法

• 广义判别值（GDV）被定义为n维空间中类内变异均值与类间分离均值之差，经归一化后对全局缩放、平移和神经元排列保持不变。
• 使用z得分激活向量和类别标签，对训练后网络的每一层计算GDV，实现无需降维的逐层比较。
• 该方法应用于前馈网络、LSTM、CNN以及预训练模型（如VGG19和InceptionV3），使用MNIST、CIFAR-10和Caltech-101等标准数据集。
• 应用随机线性变换和非线性变换（如逻辑函数）以测试GDV对架构变化的稳定性与敏感性。
• 利用GDV分析具有恒定宽度和递减宽度配置的堆叠自编码器，以研究压缩与表征学习。
• 分析GDV及其在变换下的经验分布，以评估鲁棒性并识别由优化权重带来的非平凡改进。

实验结果

研究问题

• RQ1 在训练过程中，深度神经网络隐藏层中的类别可分性如何演变？
• RQ2 是否存在一个单一的、普遍适用的‘主曲线’，可描述不同网络深度和架构下的GDV(L)动态？
• RQ3 使用对比发散法进行无监督预训练在多大程度上能提升深度网络中的类别可分性？
• RQ4 GDV如何帮助确定特定任务下的最优网络深度和宽度？
• RQ5 架构变换（如维度变化、非线性变换）对GDV所测得的类别可分性有何影响？

主要发现

• 使用反向传播训练的多层感知机的GDV(L)曲线在初始层表现出特征性的‘能垒’，表明训练过程中类别可分性出现暂时下降。
• 尽管总深度不同，同一数据集的GDV(L)在不同网络架构中均遵循固定的‘主曲线’，表明表征学习中存在普遍动态。
• 对于MNIST数据集，15层卷积神经网络的GDV(L)曲线表现出三个明显阶段：初始下降、平台期和最终上升，表明可分性演化过程复杂。
• 在IMDb情感数据上训练的LSTM中，GDV(L)随深度单调递减，表明深层可能损失判别能力。
• 预训练模型如VGG19和InceptionV3在深层表现出较高的GDV值，最终层常出现下降，可能由于Softmax层对可分性的干扰。
• 在堆叠自编码器中，递减宽度架构在深层实现更高的GDV，表明其具有更优的压缩与表征学习能力。