[論文レビュー] Learning Content-Weighted Deep Image Compression

Mu Li, Wangmeng Zuo+3 more|arXiv (Cornell University)|Apr 1, 2019

Advanced Data Compression Techniques参考文献 40被引用数 5

ひとこと要約

本稿では、空間的に適応的なビット割り当てを可能にする学習可能な重要度マップサブネットを用いたコンテンツ重み付き深層画像圧縮フレームワーク（CWIC）を提案する。従来のエントロピー推定を重要度マスクに基づくレート制御に置き換えることで、低ビットレートでも視覚的品質を向上させた。さらに、文脈に配慮したエントロピーモデリングにトリムド畳み込みネットワーク（TCAE）を採用することで、PSNRおよびMS-SSIMの両面で最先端の性能を達成し、特に顕著な画像構造の保持に優れた効果を示した。

ABSTRACT

Learning-based lossy image compression usually involves the joint optimization of rate-distortion performance. Most existing methods adopt spatially invariant bit length allocation and incorporate discrete entropy approximation to constrain compression rate. Nonetheless, the information content is spatially variant, where the regions with complex and salient structures generally are more essential to image compression. Taking the spatial variation of image content into account, this paper presents a content-weighted encoder-decoder model, which involves an importance map subnet to produce the importance mask for locally adaptive bit rate allocation. Consequently, the summation of importance mask can thus be utilized as an alternative of entropy estimation for compression rate control. Furthermore, the quantized representations of the learned code and importance map are still spatially dependent, which can be losslessly compressed using arithmetic coding. To compress the codes effectively and efficiently, we propose a trimmed convolutional network to predict the conditional probability of quantized codes. Experiments show that the proposed method can produce visually much better results, and performs favorably in comparison with deep and traditional lossy image compression approaches.

研究の動機と目的

• 既存の深層画像圧縮モデルにおける空間的に不変なビット割り当ての限界を解消すること。
• 空間的に変化する画像コンテンツと構造的重要性をモデリングすることで、圧縮効率を向上させること。
• 従来のエントロピー推定を重要度マスクに基づくレート制御に置き換えることで、より正確なレート制御を実現すること。
• より大きな文脈モデリングを用いた高度なエントロピー符号化により、量子化された特徴量の空間的依存性を活用すること。
• 平面ベースの文脈構造を活用した新しい傾斜型TCAEアーキテクチャにより、並列可能なエントロピー予測を実現し、復号を高速化すること。

提案手法

• 各画像位置の空間的に変化する重要度スコアを予測するため、重要度マップサブネットをエンドツーエンドで学習する。
• 重要度マップを離散レベルに量子化し、特徴量チャネルの選択的符号化に使用するバイナリ重要度マスクを生成する。
• 学習可能なチャネル別マルチレベル量子化により、量子化誤差を低減するとともに、各空間的位置ごとの適応的ビット割り当てを可能にする。
• 量子化コードと重要度マップを、トリムド畳み込みネットワーク（TCAE）に基づく文脈モデルを用いた算術符号化で無損失圧縮する。
• 傾斜型TCAEの変種を導入し、傾斜平面内での並列記号復号を可能にすることで、並列可能な復号を実現する。
• 量子化およびエントロピー推定の微分可能なプロキシを用いて、バックプロパゲーションによるエンドツーエンドの学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 学習された画像コンテンツの重要度に基づく空間的適応的ビット割り当ては、圧縮性能および視覚的品質の向上に寄与するか？
• RQ2 エントロピー推定を重要度マスクの合計に置き換えることで、レート制御の正確性および圧縮効率にどのような影響を与えるか？
• RQ3 エントロピー符号化におけるより大きな文脈モデリングは、計算上の実行可能性を保ちつつ圧縮ゲインを向上させられるか？
• RQ4 並列可能なエントロピー符号化アーキテクチャは、圧縮効率を損なわず、より高速な復号を可能にするか？
• RQ5 本手法は、最先端の深層および従来の画像圧縮手法と比較して、レート・ディストーション性能および視覚的品質の面で優れているか？

主な発見

• CWIC手法は、Kodakデータセットにおいて0.208 bppで32.69 dBのPSNRを達成し、同じビットレートでBalléら[5]の1.28 dB上回った。
• 0.217 bppの条件下でMS-SSIMが0.956に達し、Balléら[5]の0.931を大きく上回り、構造的保持性能に優れたことを示した。
• 重要度マップにより、顔貌特徴やテクスチャなどの微細なディテールの回復が向上し、特に低ビットレートで顕著に改善されたことが図1の視覚的比較で確認された。
• 傾斜型TCAEは、傾斜平面内での並列記号復号を可能にすることで、標準TCAEに比べ100倍以上の高速な復号を達成した。
• 1枚のGPU上で、圧縮コードストリームのエンコードと復号の実行時間はそれぞれ0.024秒および0.032秒であり、リアルタイム実行の可能性を示した。
• 畳み込みエントロピー予測モデル[12]は、重要度レベルが高くなるにつれて処理対象の記号数が増加するため、エンコード時間が増加する傾向を示し、本手法のスケーラビリティを裏付けた。