[论文解读] Evaluation of Dataflow through layers of Deep Neural Networks in Classification and Regression Problems

Ahmad Kalhor, Mohsen Saffar+3 more|arXiv (Cornell University)|Jun 12, 2019

Industrial Vision Systems and Defect Detection被引用 5

一句话总结

本文提出两种无形状、基于距离的指标——用于分类的分离率和用于回归的平滑率，以评估深度神经网络层间的数据流。通过测量标签在特征空间中分离程度或输出在各层间平滑程度，该方法实现了对泛化性能的逐层分析，并在四个案例研究中得到验证，显示指标趋势与模型准确率具有强相关性。

ABSTRACT

This paper introduces two straightforward, effective indices to evaluate the input data and the data flowing through layers of a feedforward deep neural network. For classification problems, the separation rate of target labels in the space of dataflow is explained as a key factor indicating the performance of designed layers in improving the generalization of the network. According to the explained concept, a shapeless distance-based evaluation index is proposed. Similarly, for regression problems, the smoothness rate of target outputs in the space of dataflow is explained as a key factor indicating the performance of designed layers in improving the generalization of the network. According to the explained smoothness concept, a shapeless distance-based smoothness index is proposed for regression problems. To consider more strictly concepts of separation and smoothness, their extended versions are introduced, and by interpreting a regression problem as a classification problem, it is shown that the separation and smoothness indices are related together. Through four case studies, the profits of using the introduced indices are shown. In the first case study, for classification and regression problems , the challenging of some known input datasets are compared respectively by the proposed separation and smoothness indices. In the second case study, the quality of dataflow is evaluated through layers of two pre-trained VGG 16 networks in classification of Cifar10 and Cifar100. In the third case study, it is shown that the correct classification rate and the separation index are almost equivalent through layers particularly while the serration index is increased. In the last case study, two multi-layer neural networks, which are designed for the prediction of Boston Housing price, are compared layer by layer by using the proposed smoothness index.

研究动机与目标

• 开发一种系统化、定量的数据流质量度量方法，用于评估深度神经网络各层中的数据流质量。
• 通过分析激活空间中标签的分离程度，评估网络各层在分类任务中提升泛化能力的效果。
• 通过测量输入数据流与目标输出变化的平滑程度，将分析扩展至回归问题。
• 通过将回归问题视为一种分类形式，统一分类与回归的评估框架。
• 在真实世界数据集和预训练模型上验证这些指标，证明其在模型分析中的实用性。

提出的方法

• 基于激活空间中类间距离提出分离率指标，用于衡量不同类别表示在各层中变得多清晰。
• 为回归任务引入平滑率指标，量化目标输出随输入数据流变化的平滑程度。
• 采用无形状距离度量，确保对数据分布和网络架构变化具有鲁棒性。
• 在前馈网络中逐层应用这些指标，以追踪数据表示质量的变化。
• 通过将回归问题重新解释为分类任务，展示分离率与平滑率指标之间的理论与实证联系。
• 开展四个案例研究：数据集难度比较、在CIFAR-10/100上对VGG-16的分析、分离率与准确率的相关性分析，以及波士顿房价回归任务中的模型比较。

实验结果

研究问题

• RQ1 如何从泛化能力的角度，对深度神经网络各层中的数据流进行定量评估？
• RQ2 激活空间中目标标签的分离程度在多大程度上与分类性能相关？
• RQ3 各层间输出表示的平滑性如何影响回归任务的泛化能力？
• RQ4 是否能通过统一的理论框架将分离与平滑概念联系起来？
• RQ5 所提出的指标是否能在多种网络架构和数据集上可靠地反映模型质量？

主要发现

• 分离率与分类准确率高度一致，数值上升表明深层网络中泛化能力得到改善。
• 在VGG-16网络中，分离率在浅层显著提升，深层则趋于平稳，与已知的特征层次结构一致。
• 在波士顿房价回归任务中，平滑率成功区分了两个模型，性能更优的模型表现出更高的平滑度。
• 所提出的指标揭示，某些标准数据集具有更高的内在难度，表现为较低的分离率或平滑率得分。
• 正确分类率与分离率之间的相关性在各层中均较强且稳定，尤其在分离率上升时更为明显。
• 理论与实证证据表明，当将回归问题重新表述为分类任务时，回归中的平滑性与分类中的分离性存在根本性关联。