[論文レビュー] DeepCABAC: Context-adaptive binary arithmetic coding for deep neural network compression

Simon Wiedemann, Heiner Kirchhoffer+10 more|arXiv (Cornell University)|May 15, 2019

Advanced Data Compression Techniques被引用数 10

ひとこと要約

DeepCABACは、レート・ディストーションのトレードオフを通じて量子化とエントロピー符号化を共同最適化することにより、深層ニューラルネットワークの圧縮に向けたコンテキスト適応型2値算術符号化手法を提案する。VGG16では63.6倍の圧縮比を達成し、精度の損失なしにモデルサイズをたった8.7MBに削減した。

ABSTRACT

We present DeepCABAC, a novel context-adaptive binary arithmetic coder for compressing deep neural networks. It quantizes each weight parameter by minimizing a weighted rate-distortion function, which implicitly takes the impact of quantization on to the accuracy of the network into account. Subsequently, it compresses the quantized values into a bitstream representation with minimal redundancies. We show that DeepCABAC is able to reach very high compression ratios across a wide set of different network architectures and datasets. For instance, we are able to compress by x63.6 the VGG16 ImageNet model with no loss of accuracy, thus being able to represent the entire network with merely 8.7MB.

研究の動機と目的

• 量子化とエントロピー符号化の統合をより効果的に行うことで、後続スパース化処理における圧縮ギャップを埋める。
• 従来の手法が量子化と圧縮を分離している、パラメータの相関を無視している、または非効率なエントロピー符号化を採用しているという限界を克服する。
• レートとディストーションの共同最適化を通じて、ビットストリーム表現の冗長性を最小限に抑えつつ、モデルの精度を維持する。
• 微調整を圧縮後に行わずに、多様なネットワークアーキテクチャに対して高い圧縮比を達成できるようにする。
• CABACの効率性を活用し、ニューラルネットワークの重み分布に適応させることで、最先端の圧縮パフォーマンスを達成する。

提案手法

• 重要フラグ、符号ビット、マグニチュードビン、固定長の残差符号化を含む多段階のバイナリゼーションプロセスを用いて、量子化された重みをバイナリ化する。
• 局所的な重み統計に基づく確率モデルのリアルタイム更新を伴う、コンテキスト適応型2値算術符号化（CABAC）を適用する。
• CABACで推定されたビットストリームサイズからレートを計算することで、重み付きレート・ディストーション関数を最小化するように量子化レベルを最適化する。
• 重みの標準偏差から導かれる等間隔の量子化ポイントを用い、固定小数点演算を可能とし、計算複雑度を低減する。
• スパース化済みネットワークに対して、バイアスおよび正規化層を除き、層ごとに圧縮を適用する。
• 圧縮比を最大化するために、{0, ..., 256}の範囲で全探索を用いて最適な量子化粒度（S）を選択する。

実験結果

リサーチクエスチョン

• RQ1 CABACのようなコンテキスト適応型エントロピー符号化は、標準的手法と比較して、スパース化された深層ニューラルネットワークの圧縮を顕著に改善できるか？
• RQ2 レート・ディストーション最適化を通じて量子化とエントロピー符号化を結合することで、モデルの圧縮と精度にどのような影響を与えるか？
• RQ3 DeepCABACは、VGG16、ResNet50、MobileNetといった多様なネットワークアーキテクチャを、精度の低下なしにどの程度圧縮できるか？
• RQ4 適応的コンテキストモデルとバイナリゼーション戦略を用いることで、スカラーハフマン符号化や固定モデルと比較して、ビットストリームの冗長性がどの程度低減されるか？
• RQ5 微調整を圧縮後に実施しなくても、DeepCABACは最先端の圧縮比を達成できるか？

主な発見

• DeepCABACは、ImageNetのVGG16モデルに対して63.6倍の圧縮比を達成し、精度の損失なしに8.7MBにまで縮小した。
• 複数のアーキテクチャ全体で、先行する後続スパース化処理手法と比較して平均して74%（±8%）の圧縮利得を向上させた。
• ResNet50では5.95倍の圧縮比を達成し、トップ1精度は74.12%に留まり、以前の結果を上回った。
• MobileNet-v1では12.7倍の圧縮比を達成し、精度は66.18%に留まり、軽量モデルへの有効性を示した。
• LeNet-300-100およびLeNet5では、それぞれ1.82倍および0.72倍の圧縮比を達成し、精度の低下は最小限に抑えられた。
• スパースネスレベルが先行研究より低い場合でも、本手法は高い性能を維持しており、スパースネスのばらつきに対して頑健であることが示された。