[論文レビュー] A Unified End-to-End Framework for Efficient Deep Image Compression

Jiaheng Liu, Guo Lu+2 more|arXiv (Cornell University)|Feb 9, 2020

Advanced Data Compression Techniques参考文献 37被引用数 64

ひとこと要約

本論文は EDIC を提案します。チャネル注意機構、ガウス混合エントロピーモデリング、デコーダー側の強化を用いた統一的なエンドツーエンド画像圧縮フレームワークで、従来の自己回帰法より格段に高速なデコードとともに最先端性能を達成し、映像圧縮へ拡張可能です。

ABSTRACT

Image compression is a widely used technique to reduce the spatial redundancy in images. Recently, learning based image compression has achieved significant progress by using the powerful representation ability from neural networks. However, the current state-of-the-art learning based image compression methods suffer from the huge computational cost, which limits their capacity for practical applications. In this paper, we propose a unified framework called Efficient Deep Image Compression (EDIC) based on three new technologies, including a channel attention module, a Gaussian mixture model and a decoder-side enhancement module. Specifically, we design an auto-encoder style network for learning based image compression. To improve the coding efficiency, we exploit the channel relationship between latent representations by using the channel attention module. Besides, the Gaussian mixture model is introduced for the entropy model and improves the accuracy for bitrate estimation. Furthermore, we introduce the decoder-side enhancement module to further improve image compression performance. Our EDIC method can also be readily incorporated with the Deep Video Compression (DVC) framework to further improve the video compression performance. Simultaneously, our EDIC method boosts the coding performance significantly while bringing slightly increased computational cost. More importantly, experimental results demonstrate that the proposed approach outperforms the current state-of-the-art image compression methods and is up to more than 150 times faster in terms of decoding speed when compared with Minnen's method. The proposed framework also successfully improves the performance of the recent deep video compression system DVC. Our code will be released at https://github.com/liujiaheng/compression.

研究の動機と目的

• エンドツーエンド学習によって品質を維持しつつ画像圧縮ビットレートを低減.
• 単一ガウス priors を超えるエントロピーモデリングの精度を向上.
• 実用展開を可能にするためデコードの複雑さを低減.
• 画像フレームワークを映像圧縮へシームレスに拡張できるようにする.
• DVC などの既存の映像コーデックと統合した場合の適合性と利得を示す。

提案手法

• エンコーダ、デコーダ、ハイパーエンコーダ、ハイパーデコーダモジュールを備えた画像圧縮のオートエンコーダ風ネットワーク。
• 潜在特徴におけるチャネル間の関係を捉えるチャネル注意モジュール。
• z に対する y のエントロピーモデルとしてガウス混合モデル（GMM）を用い、ビットレート推定を改善。
• アーティファクトを低減し再構成品質を向上させるデコーダー側の強化モジュール。
• L = λD + R（R ≈ H( ŷ ) + H( ẑ )）によるエンドツーエンド最適化。
• 残差と動き情報の再利用により EDIC コンポーネントを映像圧縮へ拡張。

実験結果

リサーチクエスチョン

• RQ1 EDIC は最先端手法と比較して競争力のあるレート歪み性能を、はるかに高速なデコードで実現できるか？
• RQ2 ガウス混合エントロピーモデルは単一のガウスより意味のあるビットレートの節約を提供するか？
• RQ3 デコーダー側の強化モジュールは高コストなしに再構成品質を向上させるか？
• RQ4 EDIC は映像圧縮フレームワークへ効果的に統合して性能を向上させるか？

主な発見

手法	デコード時間	BDBR
Ballé’s [10]	0.013s	29.87%
Minnen’s [2]	2.426s	53.14%
EDIC(Ours)	0.016s	53.35%

• EDIC は Minnen や Lee などの最先端手法と比較して競争力のある画像圧縮性能を達成し、従来のコーデック（JPEG、JPEG2000、BPG）を上回る。
• EDIC は自己回帰 prior よりはるかに高速にデコードされる（768×512 画像で Minnen の手法と比較して約150倍高速）。
• ガウス混合エントロピーモデリングは単一のガウスよりビットを節約し、エッジ領域のビット割り当てが改善される視覚例を示す。
• デコーダー側の強化はデコーダーで高周波の詳細を学習することでアーティファクトを減少させ、再構成品質を向上させる。
• 映像圧縮（DVC ベースライン）へ統合した場合、EDIC の改善は残差と動き情報の符号化へ伝搬し、いくつかのベースラインより良い RD 性能を生み出す。
• アブレーション研究は、各モジュール（チャネル注意、GMM、デコーダー側強化）が、単一ガウスモデルのベースラインより有意な利得を提供することを示している。