[論文レビュー] Accelerating Convolutional Neural Networks via Activation Map Compression

Georgiadis Georgios|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications被引用数 5

ひとこと要約

この論文は、畳み込みニューラルネットワークにおける活性化マップの圧縮を通じて推論を高速化し、メモリ使用量を削減する3段階のパイプライン—疎性化、量子化、エントロピー符号化—を提案する。初期層での疎性の向上と、特に対称的指数型ゴロム符号化（Symmetric Exponential Golomb）を活用することで、精度の低下を最小限に抑えつつ最大6倍の圧縮が達成され、Inception-V3とMobileNet-V1ではそれぞれ1.6倍の高速化が実現し、ImageNetとCIFAR-10では精度が0.38%および0.54%向上した。

ABSTRACT

The deep learning revolution brought us an extensive array of neural network architectures that achieve state-of-the-art performance in a wide variety of Computer Vision tasks including among others, classification, detection and segmentation. In parallel, we have also been observing an unprecedented demand in computational and memory requirements, rendering the efficient use of neural networks in low-powered devices virtually unattainable. Towards this end, we propose a three-stage compression and acceleration pipeline that sparsifies, quantizes and entropy encodes activation maps of Convolutional Neural Networks. Sparsification increases the representational power of activation maps leading to both acceleration of inference and higher model accuracy. Inception-V3 and MobileNet-V1 can be accelerated by as much as $1.6\ imes$ with an increase in accuracy of $0.38\\%$ and $0.54\\%$ on the ImageNet and CIFAR-10 datasets respectively. Quantizing and entropy coding the sparser activation maps lead to higher compression over the baseline, reducing the memory cost of the network execution. Inception-V3 and MobileNet-V1 activation maps, quantized to $16$ bits, are compressed by as much as $6\ imes$ with an increase in accuracy of $0.36\\%$ and $0.55\\%$ respectively.

研究の動機と目的

• モバイル端末や自動走行車などの低パワーデバイスにおける現代のCNNの高い計算およびメモリ要件に対処すること。
• 活性化マップの圧縮により、メモリ帯域幅と消費電力を低減すること。特に、重みテンソルよりもサイズが大きいことが一般的である。
• モデルの精度を損なわずに、活性化マップの無損失または準無損失圧縮を可能にすること。
• 疎性化、量子化、エントロピー符号化を組み合わせたパイプラインを構築し、圧縮と高速化の恩恵を最大化すること。
• 訓練中に活性化マップの疎性を向上させることで、精度の劣化を伴わずに効率性と表現力の両方を向上させることを示すこと。

提案手法

• 疎性化は、活性化マップに学習可能な疎性誘導事前分布を導入することで訓練中に適用され、精度を損なわずにゼロ活性化の数を増加させる。
• 本手法は、疎な活性化分布に対して効率的に圧縮できる対称的指数型ゴロム（SEG）エントロピー符号化を用い、ハフマン符号化や指数型ゴロム符号化を上回る性能を発揮する。
• 量子化により、活性化値のビット幅を16ビット、12ビット、8ビットに削減し、さらにメモリ使用量を低減し、効率的な保存および送信を可能にする。
• パイプラインは3段階に分かれており、まず活性化を疎にし、次にそれらを量子化し、最後に得られた疎で低ビット幅のテンソルに対してエントロピー符号化を適用する。
• 本手法は、ImageNet、CIFAR-10、MNISTのデータセット上でInception-V3、MobileNet-V1、ResNet-18/34、LeNet-5の各モデルで検証された。
• SEGおよびEGのパラメータ選定は、1,000枚の検証サブセット上で行われ、圧縮と精度のトレードオフを最適化するためのものである。

実験結果

リサーチクエスチョン

• RQ1 訓練中に活性化マップの疎性化を実現できるか、かつモデル精度が劣化しないか？
• RQ2 疎な活性化分布に対して、対称的指数型ゴロム（SEG）符号化は他のエントロピー符号化方式に比べてどれほど効果的か？
• RQ3 低パワーハードウェアアクセラレータにおいて、活性化マップの圧縮がどれほどメモリ帯域幅と消費電力を低減できるか？
• RQ4 疎性化、量子化、エントロピー符号化の組み合わせにより、高い圧縮率と高い推論速度を達成し、精度の損失を最小限に抑えられるか？
• RQ5 3段階のパイプラインを適用する際、圧縮率、推論速度、精度の最適なトレードオフは何か？

主な発見

• Inception-V3とMobileNet-V1は、疎性化のおかげでそれぞれ最大1.6倍の推論高速化が達成され、ImageNetとCIFAR-10では精度が0.38%および0.54%向上した。
• 16ビット量子化とエントロピー符号化を組み合わせることで、活性化マップは最大6倍に圧縮され、ImageNetとCIFAR-10ではそれぞれ0.36%および0.55%の精度向上が達成された。
• LeNet-5では最大11倍の圧縮が達成され、精度が0.01%向上した。一方、MobileNet-V1では16ビット量子化下で10倍の圧縮が達成され、精度が0.45%向上した。
• 疎性化ステップにより、ベースラインモデルに比べて圧縮率が1.1倍から2.0倍向上し、それに応じて推論速度も1.2倍から2.3倍向上した。
• 対称的指数型ゴロム（SEG）符号化は、ハフマン符号化、指数型ゴロム（EG）、ZVC、ZLIBに比べて、特に極めて疎な分布に対して圧縮率で優れた性能を発揮した。
• 本手法により、ハードウェアアクセラレータにおけるメモリ節約が顕著に実現され、特にオフチップDRAMアクセスがパワー消費の主因となる環境では、最大6倍のアクセス削減が達成された。