[論文レビュー] Learning Convolutional Networks for Content-weighted Image Compression

Mu Li, Wangmeng Zuo+3 more|arXiv (Cornell University)|Mar 30, 2017

Advanced Data Compression Techniques参考文献 21被引用数 21

ひとこと要約

本論文は、CNNベースの圧縮における空間的可変ビットレート割り当てを可能にする学習可能な重要度マップを用いたコンテンツ重み付き画像圧縮フレームワークを提案する。離散的エントロピー推定を代替する連続的重要な度マップの合計をレート制御に用い、二値化のための微分可能プロキシ関数を導入することで、最適化中に明示的なエントロピー符号化を必要とせず、エンド・ツー・エンドの学習が可能になった。その結果、低ビットレートにおいてJPEG や JPEG 2000 よりも優れたSSIMおよび視覚的品質が得られた。

ABSTRACT

Lossy image compression is generally formulated as a joint rate-distortion optimization to learn encoder, quantizer, and decoder. However, the quantizer is non-differentiable, and discrete entropy estimation usually is required for rate control. These make it very challenging to develop a convolutional network (CNN)-based image compression system. In this paper, motivated by that the local information content is spatially variant in an image, we suggest that the bit rate of the different parts of the image should be adapted to local content. And the content aware bit rate is allocated under the guidance of a content-weighted importance map. Thus, the sum of the importance map can serve as a continuous alternative of discrete entropy estimation to control compression rate. And binarizer is adopted to quantize the output of encoder due to the binarization scheme is also directly defined by the importance map. Furthermore, a proxy function is introduced for binary operation in backward propagation to make it differentiable. Therefore, the encoder, decoder, binarizer and importance map can be jointly optimized in an end-to-end manner by using a subset of the ImageNet database. In low bit rate image compression, experiments show that our system significantly outperforms JPEG and JPEG 2000 by structural similarity (SSIM) index, and can produce the much better visual result with sharp edges, rich textures, and fewer artifacts.

研究の動機と目的

• エンド・ツー・エンドのCNNベースの画像圧縮における非微分可能量化および離散的エントロピー推定の課題に対処すること。
• 局所的な画像コンテンツの複雑さを反映する重要度マップを学習することで、空間的可変ビット割り当てを可能にすること。
• 従来のエントロピー率推定を、重要度マップの合計に基づく連続的プロキシに置き換えることで、レート制御に用いること。
• 非微分可能な量化ステップを通過する逆誤差伝搬を可能にするために、プロキシ関数を用いた微分可能な二値化スキームを開発すること。
• コンテンツに応じたビット割り当てにより、低ビットレートでの圧縮における視覚的品質を向上させること、特にエッジやテクスチャの保持を目的とする。

提案手法

• 畳み込みエンコーダが入力画像から特徴マップを生成し、それらを別個の重要度マップネットワークで処理して空間的に変化する重要度マップを生成する。
• 重要度マップが各空間位置における特徴マップの符号化に割り当てるビット数を決定し、コンテンツに適応したビット割り当てを可能にする。
• バイナライザは0.5より大きい値を1、それ以外を0に設定するが、逆誤差伝搬を可能にするためにプロキシ関数が使用される。
• 重要度マップの合計が、損失関数における離散的エントロピー推定の代わりに、合計ビットレートの連続的で微分可能な近似として機能する。
• 量子化後に畳み込みエントロピー符号化器を適用し、文脈モデリングを用いてバイナリコードおよび重要度マップをさらに圧縮する。
• システム全体はImageNetのサブセット上でエンド・ツー・エンドに学習され、損失関数に明示的なエントロピー率項は含まれず、唯一重要度マップがレート制御に依存する。

実験結果

リサーチクエスチョン

• RQ1 学習可能な重要度マップは、CNNベースの画像圧縮における離散的エントロピー推定を効果的に置き換えることができるか？
• RQ2 コンテンツに応じた重要度マップに従う空間的可変ビット割り当ては、レート・ディストーション性能および視覚的品質にどのように影響を与えるか？
• RQ3 微分可能なプロキシ関数は、非微分可能な量化を持つバイナリ化圧縮システムのエンド・ツー・エンド学習を可能にするか？
• RQ4 訓練中に明示的なエントロピー符号化が存在しない場合、別個のエントロピー符号化器を用いることで圧縮効率にどの程度の影響が生じるか？
• RQ5 モデルが学習した重要度マップは、エッジやテクスチャへのビット割り当てにおいて、人間の視覚的認識とどの程度整合するか？

主な発見

• 提案手法は、低ビットレートにおいてJPEG や JPEG 2000 よりも顕著に優れた構造的類似性（SSIM）を達成し、視覚的品質の明確な向上が確認された。
• JPEG 2000 や Ballé [1] よりもエッジが鋭くなり、テクスチャが豊かで、ぼやけやリッジ、ブロッキングなどのアーティファクトが少なくなる。
• 重要度マップを含まないベースラインモデルは、MSE、PSNR、SSIMの観点でJPEG 2000 よりも劣っており、重要度マップの必要性を示している。
• 重要度マップは、低ビットレートでは顕著なエッジに多くのビットを割り当て、レートが上昇するにつれて中規模・小規模のテクスチャを段階的にカバーするよう学習される。これは人間の認知と整合的である。
• 畳み込みエントロピー符号化器は、小規模な文脈では標準的なCABACを上回り、特に大規模な文脈を用いる場合に顕著に性能が向上し、レート・ディストーション性能をさらに改善する。
• バイナリコードのみ、または重要度マップのみを符号化した場合でも、両方を含む完全なモデルが最良の性能を示しており、両要素が補完的役割を果たしていることを確認した。