[论文解读] How deep is deep enough? - Optimizing deep neural network architecture

Achim Schilling, Jonas Rietsch+4 more|arXiv (Cornell University)|Nov 5, 2018

Machine Learning and Data Classification参考文献 37被引用 5

一句话总结

本文提出了广义判别值（GDV），一种新颖的不变度量，用于评估深度神经网络各层中的类别可分性。在MNIST数据集上的深度置信网络实验中，GDV揭示了第30层为最优深度，超过该层后性能开始下降，表明GDV可作为跨数据集确定最优网络深度的通用工具。

ABSTRACT

Deep neural networks use stacked layers of feature detectors to repeatedly transform the input data, so that structurally different classes of input become well separated in the final layer. While the method has turned out extremely powerful in many applications, its success depends critically on the correct choice of hyperparameters, in particular the number of network layers. Here, we introduce a new measure, called the generalized discrimination value (GDV), which quantifies how well different object classes separate in each layer. Due to its definition, the GDV is invariant to translation and scaling of the input data, independent of the number of features, as well as independent of the number and permutation of the neurons within a layer. We compute the GDV in each layer of a Deep Belief Network that was trained unsupervised on the MNIST data set. Strikingly, we find that the GDV first improves with each successive network layer, but then gets worse again beyond layer 30, thus indicating the optimal network depth for this data classification task. Our further investigations suggest that the GDV can serve as a universal tool to determine the optimal number of layers in deep neural networks for any type of input data.

研究动机与目标

• 为解决深度神经网络中选择最优网络深度这一关键挑战，该深度显著影响模型性能。
• 开发一种度量方法，用于量化每一层网络中类别可分性，且独立于数据缩放、平移或神经元排列。
• 利用与数据无关的不变度量，识别深度神经网络的最优层数。
• 在真实世界基准数据集（MNIST）上，使用无监督预训练的深度置信网络验证所提度量方法。

提出的方法

• 提出广义判别值（GDV）作为度量指标，用于量化每一层网络中不同类别对象的分离程度。
• GDV在数学上定义为对输入数据的平移和缩放保持不变，并且独立于特征数量和层内神经元的排列。
• 使用无监督学习在MNIST数据集上预训练的深度置信网络，计算其所有层的GDV值。
• 分析GDV值在各层中的变化趋势，以检测类别可分性达到最大的点。
• 将GDV的最大值作为给定数据和网络架构下最优网络深度的指示器。

实验结果

研究问题

• RQ1 从最大化类别可分性的角度，深度神经网络的最优深度是什么？
• RQ2 能否开发一种度量方法，独立于数据变换和网络结构，量化深度网络各层的类别可分性？
• RQ3 GDV是否在特定层数处出现峰值，表明该数据集存在一个最优深度？
• RQ4 GDV能否作为通用工具，用于指导不同类型输入数据的网络深度选择？

主要发现

• GDV随着层数逐层递增至第30层，表明在特征变换过程中类别可分性得到改善。
• 超过第30层后，GDV开始下降，表明额外的层会降低类别可分性，导致过拟合或引入噪声。
• GDV在第30层达到峰值，表明在所测试的深度置信网络中，MNIST分类任务的最优深度为第30层。
• GDV对输入平移、缩放、特征数量和神经元排列均保持不变，证实其作为结构度量的鲁棒性。
• GDV提供了一种与数据无关的通用方法，可用于确定不同数据集和网络架构下的最优网络深度。