[論文レビュー] A Mean Field Theory of Quantized Deep Networks: The Quantization-Depth Trade-Off

Yaniv Blumenfeld, Dar Gilboa+1 more|arXiv (Cornell University)|Jun 3, 2019

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

本稿では、初期化時の信号伝播を分析するため、量子化された深層ニューラルネットワークの平均場理論を開発し、情報伝達を最適化する初期化手法を提案する。最大トレーニング可能深さ $L_{\text{max}}$ の閉形式式を導出し、$L_{\text{max}} \propto N^{1.82}$ であることを示し、量子化と深さの根本的なトレードオフを明らかにする。

ABSTRACT

Reducing the precision of weights and activation functions in neural network training, with minimal impact on performance, is essential for the deployment of these models in resource-constrained environments. We apply mean field techniques to networks with quantized activations in order to evaluate the degree to which quantization degrades signal propagation at initialization. We derive initialization schemes which maximize signal propagation in such networks, and suggest why this is helpful for generalization. Building on these results, we obtain a closed form implicit equation for $L_{\max}$, the maximal trainable depth (and hence model capacity), given $N$, the number of quantization levels in the activation function. Solving this equation numerically, we obtain asymptotically: $L_{\max}\propto N^{1.82}$.

研究の動機と目的

• 重みと活性化の量子化が初期化時の深層ネットワークにおける信号伝播に与える影響を理解すること。
• 活性化が量子化されたネットワークにおける信号伝播を最大化する初期化手法を特定すること。
• 量子化レベル $N$ の関数として、最大トレーニング可能深さ $L_{\text{max}}$ の理論的上限を導出すること。
• 量子化ネットワークにおけるモデルの深さと活性化の精度の間の定量的トレードオフを確立すること。

提案手法

• 量子化された活性化を有する深層ネットワークにおける信号および勾配の流れを分析するため、平均場技術を適用する。
• 量子化下での信号伝播の安定性に基づき、$L_{\text{max}}$ の閉形式の陰関数方程式を導出する。
• 導出された方程式を用いて、量子化レベル数 $N$ の異なる値に対して $L_{\text{max}}$ を数値的に解く。
• 量子化ネットワークにおける信号分散と情報伝達を最適化する初期化手法を提案する。
• $N$ が増加する際の $L_{\text{max}}$ の漸近的挙動を分析し、$L_{\text{max}} \propto N^{1.82}$ のべき則スケーリングに至る。

実験結果

リサーチクエスチョン

• RQ1 活性化の量子化が、初期化時の深層ニューラルネットワークにおける信号伝播にどのように影響するか？
• RQ2 活性化が量子化されたネットワークにおいて、信号伝播を最大化する初期化手法は何か？
• RQ3 与えられた量子化レベル数 $N$ に対して、最大トレーニング可能深さ $L_{\text{max}}$ の理論的上限は何か？
• RQ4 活性化関数における量子化レベル数に応じて、最大トレーニング可能深さはどのようにスケーリングするか？

主な発見

• 最大トレーニング可能深さ $L_{\text{max}}$ は、$N$（量子化レベル数）に対して漸近的に $L_{\text{max}} \propto N^{1.82}$ のようにスケーリングする。
• 導出された初期化手法により、量子化ネットワークにおける信号伝播が顕著に向上し、学習の安定性が向上する。
• $L_{\text{max}}$ の閉形式の陰関数方程式が確立され、量子化下での深さ制限の理論的・数値的分析が可能になる。
• べき則スケーリング $L_{\text{max}} \propto N^{1.82}$ は、モデルの深さと活性化の精度の間の強いトレードオフを示している。
• 結果から、量子化は信号伝播を劣化させるが、適切な初期化によりこれを緩和でき、一般化性能とモデル容量が向上することが示唆される。