[論文レビュー] Deep Neural Network Capacity

Aosen Wang, Hua Zhou+2 more|arXiv (Cornell University)|Aug 16, 2017

Advanced Neural Network Applications参考文献 14被引用数 3

ひとこと要約

本稿では、トレーニング中に小数重量正則化と8ビット量子化を用い、推論時に適応的ビット幅および非一様量子化を適用することで、モデルサイズの低減と同時に容量の推定を実現する、深層ニューラルネットワーク容量の新しい定量的指標「合計有効ビット数」を提案する。この手法は、合計有効ビット数がネットワーク性能を効果的に予測でき、アーキテクチャ的要因やトレーニング手法の影響についての知見を明らかにする。

ABSTRACT

In recent years, deep neural network exhibits its powerful superiority on information discrimination in many computer vision applications. However, the capacity of deep neural network architecture is still a mystery to the researchers. Intuitively, larger capacity of neural network can always deposit more information to improve the discrimination ability of the model. But, the learnable parameter scale is not feasible to estimate the capacity of deep neural network. Due to the overfitting, directly increasing hidden nodes number and hidden layer number are already demonstrated not necessary to effectively increase the network discrimination ability. In this paper, we propose a novel measurement, named "total valid bits", to evaluate the capacity of deep neural networks for exploring how to quantitatively understand the deep learning and the insights behind its super performance. Specifically, our scheme to retrieve the total valid bits incorporates the skilled techniques in both training phase and inference phase. In the network training, we design decimal weight regularization and 8-bit forward quantization to obtain the integer-oriented network representations. Moreover, we develop adaptive-bitwidth and non-uniform quantization strategy in the inference phase to find the neural network capacity, total valid bits. By allowing zero bitwidth, our adaptive-bitwidth quantization can execute the model reduction and valid bits finding simultaneously. In our extensive experiments, we first demonstrate that our total valid bits is a good indicator of neural network capacity. We also analyze the impact on network capacity from the network architecture and advanced training skills, such as dropout and batch normalization.

研究の動機と目的

• モデル性能における中心的役割を果たすものの、定量的測定が不十分な深層ニューラルネットワーク容量の問題を解決すること。
• パラメータ数や過学習の限界を克服し、ネットワーク容量を推定するための手法を提供すること。
• 容量推定と同時にモデル圧縮を可能にする手法の開発。
• アーキテクチャ設計およびトレーニング手法がネットワーク容量に与える影響を調査すること。

提案手法

• トレーニング中に整数指向の重み表現を促進するため、小数重量正則化を適用する。
• トレーニング中に8ビットの前方量子化を用い、ネットワーク表現を離散的かつ低精度の値に制限する。
• 推論時に適応的ビット幅量子化を実装し、各層に対して動的にビット幅を割り当て、プルーニングのためのゼロビットも含む。
• 層の重要性および情報含量に基づいてビット割り当てを最適化するため、非一様量子化を導入する。
• トレーニングと推論の手法を統合し、合計有効ビット数を容量指標として抽出する。
• 適応的量子化におけるゼロビット幅の使用により、モデル削減と同時に容量推定を並列に実現する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ数や深さ・幅を超えて、深層ニューラルネットワーク容量をどのように定量的に測定できるか。
• RQ2 ドロップアウトやバッチ正則化などのトレーニング手法が、ネットワーク容量にどの程度の影響を及えるか。
• RQ3 モデル容量を反映するとともに、効率的なモデル圧縮を可能にする統一された指標を導出できるか。
• RQ4 ゼロビット幅を含む適応的ビット幅量子化は、容量推定とモデルサイズ低減の両方をどのように支援するか。

主な発見

• 合計有効ビット数は、さまざまなアーキテクチャにおいてニューラルネットワーク容量の強力な指標であり、モデル性能と相関する。
• 提案手法は、適応的ビット幅割り当てを通じて容量推定と同時にモデル圧縮を成功裏に実現した。
• ネットワーク容量はアーキテクチャ設計に強く影響を受けており、より深いまたは広いネットワークでは有効ビット数が顕著に高くなる。
• バッチ正則化やドロップアウトといった高度なトレーニング手法は、合計有効ビット数に測定可能な影響を及ぼし、情報保持能力の向上に寄与することが示された。
• 適応的量子化におけるゼロビット幅の使用により、容量推定の正確性を損なわず、効果的なチャネルプルーニングとモデル削減が可能になった。
• 実験的結果は、合計有効ビット数がパラメータ数や深さ・幅の単独指標よりも、真の情報判別能力をよりよく捉えていることを確認した。