[論文レビュー] Soft-to-Hard Vector Quantization for End-to-End Learning Compressible Representations

Eirikur Agustsson, Fabian Mentzer+5 more|arXiv (Cornell University)|Apr 3, 2017

Advanced Image Processing Techniques参考文献 37被引用数 262

ひとこと要約

本論文は、エンドツーエンド訓練を用いて圧縮可能な特徴表現とモデルを学習する、ソフトからハードへのベクトル量子化フレームワークを提案し、画像圧縮とDNN圧縮で競争力のある結果を達成した。

ABSTRACT

We present a new approach to learn compressible representations in deep architectures with an end-to-end training strategy. Our method is based on a soft (continuous) relaxation of quantization and entropy, which we anneal to their discrete counterparts throughout training. We showcase this method for two challenging applications: Image compression and neural network compression. While these tasks have typically been approached with different methods, our soft-to-hard quantization approach gives results competitive with the state-of-the-art for both.

研究の動機と目的

• 深層ネットワークとデータタイプの圧縮表現の学習を動機づける。
• シンボル列のエントロピーとともに、モデルパラメータ、量子化レベルを共同最適化する。
• ネットワーク内の特徴と全体のモデル両方の圧縮を統一的に扱うフレームワークを提供する。

提案手法

• 量子化とエントロピーのソフト（連続的）緩和を導入し、ソフトからハード割り当てへとアニーリングスケジュールを用いる。
• エンコーダ E を、学習されたコードブックから最近傍中心を選択するようにモデル化し、デコーダ D はシンボル指数から再構成する。
• differentiable なソフトヒストグラムと真のエントロピーを上限づけるソフトエントロピー損失によりエントロピーを推定する。
• ソフト量子化をハード割り当てへとアニーリングして、エンドツーエンドの微分可能な訓練を可能にする。
• ボトルネック統計をより適切に捉えるため、ベクトル量子化を適用する（スカラーだけでなく）。
• 圧縮オートエンコーダを介した画像圧縮と DNN モデル圧縮（CIFAR-10 の ResNet）双方のエンドツーエンド学習を実証する。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークで、歪みとレート（D + βR）を最小化するよう、ソフト-ハードのベクトル量子化をエンドツーエンドで訓練できるか。
• RQ2 量子化レベルを重みと共に学習することは、画像データとモデルパラメータの圧縮性を向上させるか。
• RQ3 学習型圧縮シナリオにおけるベクトル量子化とスカラー量子化の比較はどうか。
• RQ4 強いパラメトリック前提なしのヒストグラムベースのエントロピー推定は競争力のある結果を生むか。

主な発見

手法	精度	圧縮率
元のモデル	92.6	1.00
プルーニング + 微調整 + インデックス符号化 + ハフマン符号化 [12]	92.6	4.52
プルーニング + 微調整 + k-means + 微調整 + I.C. + H.C. [11]	92.6	18.25
プルーニング + 微調整 + ヘessian重み付き k-means + 微調整 + I.C. + H.C.	92.7	20.51
プルーニング + 微調整 + 一様量子化 + 微調整 + I.C. + H.C.	92.7	22.17
プルーニング + 微調整 + 反復 ECSQ + 微調整 + I.C. + H.C.	92.7	21.01
ソフト-ツー-ハードアニーリング + 微調整 + H. 符号化 ( ours)	92.1	19.15
ソフト-ツー-ハードアニーリング + 微調整 + A. 符号化 ( ours)	92.1	20.15

• 画像圧縮とDNNモデル圧縮の双方で最先端手法と競合する性能を達成。
• ソフト-to-hardアニーリングを用いたベクトル量子化は、スカラー量子化よりレート歪みのトレードオフを改善。
• ソフトヒストグラムに基づくエントロピー損失は圧縮性に対して微分可能な指針を提供。
• CIFAR-10 の 32 層 ResNet で、精度のほぼ損失なしに約19–20倍の圧縮を達成。
• 画像圧縮では高圧縮率時にSHAがJPEG/JPEG 2000を上回り、いくつかのデータセットでBPGと競合。