[論文レビュー] End-to-End Learned Image Compression with Quantized Weights and Activations

Heming Sun, Lu Yu+1 more|arXiv (Cornell University)|Nov 17, 2021

Video Coding and Compression Technologies参考文献 55被引用数 5

ひとこと要約

本稿では、重みおよび活性化の両方を8ビット固定小数点量子化を用いたエンドツーエンド学習型画像符号化フレームワークを提案し、メモリ使用量を75%削減しながらBPGを上回るMS-SSIM性能を達成した。チャネル単位の非線形重み量子化とクリッピング微調整手法、動的範囲最適化された活性化コードブック、および平均値除去量子化を導入し、量子化誤差とビットディスプレイコストを最小化した。

ABSTRACT

End-to-end Learned image compression (LIC) has reached the traditional hand-crafted methods such as BPG (HEVC intra) in terms of the coding gain. However, the large network size prohibits the usage of LIC on resource-limited embedded systems. This paper reduces the network complexity by quantizing both weights and activations. 1) For the weight quantization, we study different kinds of grouping and quantization scheme at first. A channel-wise non-linear quantization scheme is determined based on the coding gain analysis. After that, we propose a fine tuning scheme to clip the weights within a certain range so that the quantization error can be reduced. 2) For the activation quantization, we first propose multiple non-linear quantization codebooks with different maximum dynamic ranges. By selecting an optimal one through a multiplexer, the quantization range can be saturated to the greatest extent. In addition, we also exploit the mean-removed quantization for the analysis transform outputs in order to reduce the bit-width cost for the specific channel with the large non-zero mean. By quantizing each weight and activation element from 32-bit floating point to 8-bit fixed point, the memory cost for both weight and activation can be reduced by 75% with negligible coding performance loss. As a result, our quantized LIC can still outperform BPG in terms of MS-SSIM. To our best knowledge, this is the first work to give a complete analysis on the coding gain and the memory cost for a quantized LIC network, which validates the feasibility of the hardware implementation.

研究の動機と目的

• リソース制限のある埋め込みシステムにおけるエンドツーエンド学習型画像符号化（LIC）の実用的導入を可能にするために、メモリおよび計算コストを低減すること。
• 特にハードウェア実装を想定した場合に、量子化LICネットワークにおける符号化ゲインとメモリコストのトレードオフを分析すること。
• 高い圧縮性能を維持しつつ、重みおよび活性化の両方に対する包括的な量子化戦略を開発すること。
• 新規の量子化スキームおよび微調整技術を用いて、量子化誤差とビット幅コストを最小化すること。

提案手法

• 符号化ゲイン解析を最適化して歪みを最小化する、チャネル単位の非線形重み量子化スキームを提案。
• 重みの範囲を制限することで、量子化後の量子化誤差を低減する重みクリッピング微調整手法を導入。
• 異なる動的範囲を有する4種類の非線形活性化コードブックを設計し、マルチプレクサを用いて精度を最大化するように選択。
• 分析変換出力に平均値除去量子化を適用し、非ゼロ平均が大きいチャネルのビット幅を削減。
• 重みおよび活性化を32ビット浮動小数点から8ビット固定小数点に量子化し、メモリコストを75%削減。
• ハイパープライオリティベースのネットワークアーキテクチャ（ハイパープライオリティ-5）をベースラインとし、ハイパーパathを含むすべての層に量子化を適用。

実験結果

リサーチクエスチョン

• RQ1 量子化LICネットワークにおける重みの最適なグループ化および量子化スキームは何か？ これは符号化ゲインを最大化することを目的とする。
• RQ2 圧縮性能を損なわずに、低精度の重みおよび活性化表現における量子化誤差をどのように低減できるか？
• RQ3 動的範囲に適応する活性化量子化は、学習型画像符号化の効率を向上させることができるか？
• RQ4 平均値除去量子化は、分析変換におけるビット幅要件および全体のメモリコストにどのように影響するか？
• RQ5 8ビット固定小数点量子化は、メモリおよび計算コストを削減しながら、符号化性能をどの程度維持できるか？

主な発見

• 提案された量子化LICは、8ビット量子化にもかかわらずBPGを上回るMS-SSIMを達成し、より優れた知覚的品質を示した。
• 重みおよび活性化の両方のメモリ消費量は、フル精度モデルと比較して75%削減された。重みコストは[18]と比較して4.48%高いが、デコーダーでは21%低い。
• 重みクリッピング微調整手法により、量子化誤差が顕著に低減され、量子化後の符号化ゲインが向上した。
• 動的範囲選択付きの4種類の非線形活性化コードブックの使用により、量子化範囲の飽和が改善され、精度が向上した。
• 平均値除去量子化により、高平均チャネルのビット幅要件が低減され、活性化のメモリコスト低減に寄与した。
• 乗算および加算のエネルギーコストは、32ビットFPの3.7pJおよび0.9pJから、8ビット整数の0.2pJおよび0.03pJにまで低下し、顕著な計算コスト削減が確認された。