[論文レビュー] On the Universal Approximability and Complexity Bounds of Quantized ReLU Neural Networks

Yukun Ding, Jinglan Liu+2 more|arXiv (Cornell University)|Feb 10, 2018

Machine Learning and Algorithms被引用数 18

ひとこと要約

本論文は、量子化されたReLUニューラルネットワークの最初の理論的枠組みを確立し、有限の重み値集合のみを用いて任意の精度で普遍近似が可能であることを証明した。量子化されたネットワークが、誤差束縛εを達成するためには、非量子化ネットワークに比べて最大でO(log⁵(1/ε))倍の重みが必要であることを示し、モデル圧縮および高速化における量子化の実験的成功を説明している。

ABSTRACT

Compression is a key step to deploy large neural networks on resource-constrained platforms. As a popular compression technique, quantization constrains the number of distinct weight values and thus reducing the number of bits required to represent and store each weight. In this paper, we study the representation power of quantized neural networks. First, we prove the universal approximability of quantized ReLU networks on a wide class of functions. Then we provide upper bounds on the number of weights and the memory size for a given approximation error bound and the bit-width of weights for function-independent and function-dependent structures. Our results reveal that, to attain an approximation error bound of $ε$, the number of weights needed by a quantized network is no more than $\mathcal{O}\left(\log^5(1/ε) ight)$ times that of an unquantized network. This overhead is of much lower order than the lower bound of the number of weights needed for the error bound, supporting the empirical success of various quantization techniques. To the best of our knowledge, this is the first in-depth study on the complexity bounds of quantized neural networks.

研究の動機と目的

• 量子化されたReLUニューラルネットワークの表現力に理論的基盤を確立すること。
• 所定の近似誤差とビット幅に対して、ネットワークサイズおよびメモリ要件の上界を特定すること。
• 非量子化ネットワークと比較して、重みの量子化によって生じるオーバーヘッドを定量化すること。
• 精度が低下しても、バイナリ化を含む量子化技術がなぜ依然として効果的であるかを説明すること。
• リソース制約のあるプラットフォーム向けに効率的な量子化モデルの設計を支援する複雑さの境界を提供すること。

提案手法

• 有限の異なる重み値の集合を用いて、非量子化ネットワークのユニットを近似する量子化サブネットワークを構築すること。
• 個々の近似における残余誤差が存在するにもかかわらず、エンドツーエンドの近似誤差がε未満に保たれるように、新しい構築技術を用いること。
• 所望の誤差εと異なる重み値の数λに基づいて、重み数およびメモリサイズの上界を導出すること。
• 非量子化ReLUネットワークの既知の下界と比較して、導出された上界のタイトネスを評価すること。
• εおよびλの関数としてのオーバーヘッド要因の増加率を分析し、量子化の効率性を評価すること。
• オーバーヘッドが非量子化ネットワークの下界よりもずっと低い次数であることを示し、量子化の効率性を裏付けること。

実験結果

リサーチクエスチョン

• RQ1 有限個の異なる重み値を有する量子化ReLUネットワークは、広範な関数クラスを任意の精度で普遍的に近似可能か？
• RQ2 所定の近似誤差εを達成するための量子化ReLUネットワークに必要な重み数およびメモリサイズの上界は何か？
• RQ3 ネットワークの複雑さの観点から、量子化のオーバーヘッドは非量子化ネットワークの下界と比べてどの程度か？
• RQ4 極めて量子化されたネットワーク、例えばバイナリ化ネットワークですら、なぜ実際にはうまく機能するのか？
• RQ5 理論的な複雑さの境界は、量子化ニューラルネットワークにおける最適なビット幅設定を指針とすることができるか？

主な発見

• わずか2種類の異なる重み値を有する量子化ReLUネットワークでも、任意の精度で広範な関数クラスを普遍的に近似可能である。
• 誤差束縛εを達成するための量子化ネットワークに必要な重み数は、非量子化ネットワークに比べて最大でO(log⁵(1/ε))倍である。
• このオーバーヘッド要因は、非量子化ネットワークの下界Ω(log⁻³(1/ε)(1/ε)ᵈ ⁄ ⁿ)よりもはるかに低い次数であるため、表現力の損失は最小限に抑えられる。
• 重み数の上界は、非量子化ネットワークの下界に対して多項対数因子の範囲内にあり、タイトネスが強く示されている。
• 最適なビット幅は入力次元dとともにゆっくりと増加するため、高次元データに対しても低ビット幅で十分であることが示唆される。
• 理論的な複雑さの境界は、将来的なハイパーパramータ最適化およびハードウェア設計の指針として活用可能である。