[论文解读] Understanding intermediate layers using linear classifier probes

Guillaume Alain, Yoshua Bengio|arXiv (Cornell University)|Oct 5, 2016

Neural Networks and Applications被引用 117

一句话总结

本论文引入线性分类器探针以衡量神经网络每一层特征的线性可分性，显示随深度的单调改善，并演示在 ResNet-50 和 Inception v3 上的诊断用途。

ABSTRACT

Neural network models have a reputation for being black boxes. We propose to monitor the features at every layer of a model and measure how suitable they are for classification. We use linear classifiers, which we refer to as "probes", trained entirely independently of the model itself. This helps us better understand the roles and dynamics of the intermediate layers. We demonstrate how this can be used to develop a better intuition about models and to diagnose potential problems. We apply this technique to the popular models Inception v3 and Resnet-50. Among other things, we observe experimentally that the linear separability of features increase monotonically along the depth of the model.

研究动机与目标

• 提出探针—可训练的线性分类器—以评估逐层线性可分性，同时不影响模型训练。
• 分析探针在不同层的性能变化，以理解中间表示。
• 在知名的 CNN 上展示该方法以诊断训练动态和潜在问题。
• 显示实证证据表明更深的层往往对分类具有更好的线性可分性。

提出的方法

• 将探针定义为线性分类器 f_k，将层特征 H_k 映射到类别概率，形式为 softmax(Wh_k + b)。
• 在不反向传播到探针的情况下独立训练探针，保持模型参数固定。
• 评估 L_k^train、L_k^valid，或错误率，以监测随深度的可分离性变化。
• 解决将高维特征降维以适配探针等实际问题。
• 使用凸优化训练探针以确保全局最小值。
• 比较不同层以及训练时间上的探针性能，以建立对表示的直觉。

实验结果

研究问题

• RQ1 中间层特征在深度增加时是否表现出更高的线性可分性？
• RQ2 探针测量是否能诊断训练动态并识别最终损失以外的模型行为问题？
• RQ3 在训练和收敛后，探针在著名架构（ResNet-50、Inception v3）中如何表现？
• RQ4 在拟合探针时，哪些实际策略有助于管理高维特征维数？
• RQ5 探针产生的测量在不同数据集和标签目标下是否稳健？

主要发现

• 探针误差随深层而单调下降，表明特征线性可分性在增加。
• 更深的特征往往利用探针对目标类别有更好的预测，暗示贪心的、逐步抽象的表示。
• 探针可以诊断在最终任务表现之外可能出现的训练动态异常或病态情况。
• 在 ResNet-50 中，按层的验证预测误差随深度呈近似单调下降，支持单调可分性断言。
• 在 Inception v3 中，探针基于层的预测在经过大量训练后，显示出线性可分性随层的平滑、几乎单调的增加。
• 投影/特征降维策略对于在极高维度的层上 feasibly 拟合探针至关重要。