[论文解读] Deep Neural Network Capacity

Aosen Wang, Hua Zhou+2 more|arXiv (Cornell University)|Aug 16, 2017

Advanced Neural Network Applications参考文献 14被引用 3

一句话总结

本文提出了一种新颖的、可量化的深度神经网络容量度量方法——'总有效比特数'，通过在训练过程中采用十进制权重正则化与8位量化，同时在推理阶段采用自适应位宽和非均匀量化，实现模型尺寸减小与容量估计的同步。该方法表明，总有效比特数能有效预测网络性能，并揭示了网络架构与训练技术的影响机制。

ABSTRACT

In recent years, deep neural network exhibits its powerful superiority on information discrimination in many computer vision applications. However, the capacity of deep neural network architecture is still a mystery to the researchers. Intuitively, larger capacity of neural network can always deposit more information to improve the discrimination ability of the model. But, the learnable parameter scale is not feasible to estimate the capacity of deep neural network. Due to the overfitting, directly increasing hidden nodes number and hidden layer number are already demonstrated not necessary to effectively increase the network discrimination ability. In this paper, we propose a novel measurement, named "total valid bits", to evaluate the capacity of deep neural networks for exploring how to quantitatively understand the deep learning and the insights behind its super performance. Specifically, our scheme to retrieve the total valid bits incorporates the skilled techniques in both training phase and inference phase. In the network training, we design decimal weight regularization and 8-bit forward quantization to obtain the integer-oriented network representations. Moreover, we develop adaptive-bitwidth and non-uniform quantization strategy in the inference phase to find the neural network capacity, total valid bits. By allowing zero bitwidth, our adaptive-bitwidth quantization can execute the model reduction and valid bits finding simultaneously. In our extensive experiments, we first demonstrate that our total valid bits is a good indicator of neural network capacity. We also analyze the impact on network capacity from the network architecture and advanced training skills, such as dropout and batch normalization.

研究动机与目标

• 为解决尽管深度神经网络容量在模型性能中起关键作用，却缺乏定量度量的问题。
• 克服仅以参数数量或过拟合程度来估计网络容量的局限性。
• 开发一种可同时估计容量并实现模型压缩的方法。
• 探究网络架构设计与训练技术对网络容量的影响。

提出的方法

• 在训练过程中应用十进制权重正则化，以促进以整数为导向的权重表示。
• 在训练过程中使用8位前向量化，以将网络表示约束为离散的低精度值。
• 在推理阶段实施自适应位宽量化，动态分配每层的位宽，包括为剪枝操作设置零位宽。
• 引入非均匀量化，以根据层的重要性与信息含量优化位宽分配。
• 结合训练与推理技术，提取总有效比特数作为容量度量指标。
• 在自适应量化中使用零位宽，以并行实现模型压缩与容量估计。

实验结果

研究问题

• RQ1 除了参数数量或深度/宽度之外，如何对深度神经网络容量进行定量度量？
• RQ2 网络架构选择以及如Dropout和批量归一化等训练技术在多大程度上影响网络容量？
• RQ3 能否推导出一个统一度量指标，既能反映模型容量，又能实现高效的模型压缩？
• RQ4 带有零位宽的自适应位宽量化如何同时支持容量估计与模型尺寸减小？

主要发现

• 总有效比特数是神经网络容量的强指标，其与多种架构下的模型性能高度相关。
• 所提方法在实现容量估计的同时，通过自适应位宽分配成功实现了模型压缩。
• 网络容量显著受架构设计影响，更深或更宽的网络表现出更高的有效比特数。
• 先进的训练技术如批量归一化和Dropout对总有效比特数有可测量的影响，表明其在增强信息保留方面的作用。
• 在自适应量化中使用零位宽可实现有效的通道剪枝与模型压缩，且不损失容量估计的准确性。
• 实证结果证实，总有效比特数比单独使用参数数量或深度/宽度更能准确捕捉模型的真实信息区分能力。