[論文レビュー] Generalized Ternary Connect: End-to-End Learning and Compression of Multiplication-Free Deep Neural Networks

Samyak Parajuli, Aswin Raghavan+1 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Neural Network Applications参考文献 24被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークの重みを、0と2の整数乗の値の集合に量子化する、学習可能な2の累乗量子化に基づくEnd-to-End微分可能手法であるGeneralized Ternary Connect (GTC)を提案する。これにより、ビットシフトによる乗算フリーの推論が可能となる。GTCはMNISTおよびCIFAR-10で最先端の圧縮性能を達成し、精度の低下を最小限に抑え、FPGAおよびRaspberry Piシミュレーションを通じてハードウェア効率の向上を示した。また、量子化コストを段階的に減少させることで、収束性が向上する新しい最適化手法としても機能する。

ABSTRACT

The use of deep neural networks in edge computing devices hinges on the balance between accuracy and complexity of computations. Ternary Connect (TC) \cite{lin2015neural} addresses this issue by restricting the parameters to three levels $-1, 0$, and $+1$, thus eliminating multiplications in the forward pass of the network during prediction. We propose Generalized Ternary Connect (GTC), which allows an arbitrary number of levels while at the same time eliminating multiplications by restricting the parameters to integer powers of two. The primary contribution is that GTC learns the number of levels and their values for each layer, jointly with the weights of the network in an end-to-end fashion. Experiments on MNIST and CIFAR-10 show that GTC naturally converges to an `almost binary' network for deep classification networks (e.g. VGG-16) and deep variational auto-encoders, with negligible loss of classification accuracy and comparable visual quality of generated samples respectively. We demonstrate superior compression and similar accuracy of GTC in comparison to several state-of-the-art methods for neural network compression. We conclude with simulations showing the potential benefits of GTC in hardware.

研究の動機と目的

• エッジデバイスに深層ニューラルネットワークをデプロイする際の高い計算複雑性に対処するため、推論中に乗算を排除すること。
• Ternary Connectを一般化し、任意の数の量子化レベルを許容するが、それらは2の整数乗に制限され、効率的なビットシフト操作を可能にする。
• ネットワーク重みと同時に、量子化レベルの数とその値をEnd-to-Endで学習し、精度とモデル圧縮の両方を最適化する。
• FPGAおよびRaspberry Piシミュレーションを通じて、ハードウェア効率の向上を実証し、消費電力と遅延の低減を示す。
• 量子化コストを段階的に減少させることで、GTCを新しい最適化手法として検討し、学習収束性の向上を図る。

提案手法

• GTCは、重みを集合{0} ∪ {±2^k | k ∈ ℤ}内の値に量子化し、ビットシフトによる乗算フリーの推論を可能にする。
• 量子化関数をパrametrizeするトレーニング可能なパラメータを導入し、双曲的またはシグモイド型の形状を柔軟に表現可能にする。
• 学習可能な温度パラメータとスケーリングパラメータを用いて微分可能な量子化関数を定義し、量子化プロセスを逆伝搬可能にする。
• 損失関数には、ネットワーク挙動を保持するための distillation 項（λ₁）と、使用ビット数を制御するビットコストペナルティ（λ₂）を含む。
• 各重みあたりのビット数は、学習された量子化分布の期待エントロピーとして計算され、圧縮と精度の両方をEnd-to-Endで最適化可能となる。
• GTCの変種を最適化手法として用いる際は、訓練中にλ₂を段階的に減少させ、初期段階では高密度のスパarsityを確保し、徐々に精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークをEnd-to-Endで学習させることで、量子化レベルの数とその値（2の整数乗）を同時に学習可能か？
• RQ2 提案手法は、最先端の圧縮技術と比較して、精度の低下を最小限に抑えつつ高いモデル圧縮を達成できるか？
• RQ3 学習された量子化スキームは、ハードウェアに効率的にマッピング可能であり、消費電力と遅延の顕著な低減をもたらすか？
• RQ4 GTCは、標準的なSGDを上回る収束性と最終精度を示す競争力のある最適化手法として機能できるか？
• RQ5 異なる正則化設定下で、モデル精度（ビット数）と精度のトレードオフはどのように変化するか？

主な発見

• CIFAR-10のVGG-16において、GTCは平均2ビット/重みで98.8％のテスト精度を達成し、フル精度モデルと同等の精度を維持した。
• MNISTでは、λ₂ = 0のとき平均5.25ビット/重みで99.3％の精度を達成し、λ₂ = 10⁻³に設定すると2ビットに削減され、95.0％の精度を達成した。
• FPGAシミュレーションでは、1操作あたりの消費電力が49mW（乗算）から10mW（ビットシフト）にまで79.6％低下した。
• Raspberry Piシミュレーションでは、乗算をビットシフトに置き換えることで、1操作あたりの遅延が93nsから67nsに28％短縮された。
• λ₂を段階的に減少させるGTCの変種は、標準的なSGDおよび固定λ₂のGTCと比較して優れた性能を示し、40,000イテレーションまで32ビットベースラインを上回る訓練精度を達成した。
• GTCは深層アーキテクチャにおいて自然に「ほぼバイナリ」なネットワーク構造に収束する傾向を示し、トレーニング中に低精度表現への内在的傾向があることを示唆した。