[論文レビュー] A Cross Channel Context Model for Latents in Deep Image Compression

Changyue Ma, Wang Zhao+2 more|arXiv (Cornell University)|Mar 4, 2021

Advanced Data Compression Techniques参考文献 31被引用数 11

ひとこと要約

本論文は、潜在チャネルをグループ化し、事前に符号化されたグループを用いて現在のグループの符号化に文脈を提供することで、空間的2次元畳み込みにとどまらない相関モデリングを大幅に向上させるクロスチャネルコンテキストモデルを提案する。この手法により、深層画像符号化の性能が向上し、PSNR基準でKodakおよびCVPR CLIC2020データセットにおいてベースライン比6.30%および6.31%のBD-rate低減、VVC比2.50%および2.20%のBD-rate低減を達成。MS-SSIM最適化下でも視覚的品質が向上する。

ABSTRACT

This paper presents a cross channel context model for latents in deep image compression. Generally, deep image compression is based on an autoencoder framework, which transforms the original image to latents at the encoder and recovers the reconstructed image from the quantized latents at the decoder. The transform is usually combined with an entropy model, which estimates the probability distribution of the quantized latents for arithmetic coding. Currently, joint autoregressive and hierarchical prior entropy models are widely adopted to capture both the global contexts from the hyper latents and the local contexts from the quantized latent elements. For the local contexts, the widely adopted 2D mask convolution can only capture the spatial context. However, we observe that there are strong correlations between different channels in the latents. To utilize the cross channel correlations, we propose to divide the latents into several groups according to channel index and code the groups one by one, where previously coded groups are utilized to provide cross channel context for the current group. The proposed cross channel context model is combined with the joint autoregressive and hierarchical prior entropy model. Experimental results show that, using PSNR as the distortion metric, the combined model achieves BD-rate reductions of 6.30% and 6.31% over the baseline entropy model, and 2.50% and 2.20% over the latest video coding standard Versatile Video Coding (VVC) for the Kodak and CVPR CLIC2020 professional dataset, respectively. In addition, when optimized for the MS-SSIM metric, our approach generates visually more pleasant reconstructed images.

研究の動機と目的

• 深層画像符号化の潜在表現におけるチャネル間相関の未利用状態を是正すること。
• 2次元マスク畳み込みによる空間的文脈を超えたチャネル間依存関係を捉えることで、エントロピーモデリングを向上させること。
• 既存の共同自己回帰的および階層的事前モデルとクロスチャネルコンテキストを統合し、符号化効率を向上させること。
• PSNRおよびMS-SSIMの両指標において、標準ベンチマークで最先端の性能を達成すること。
• MS-SSIMに基づく最適化により、視覚的に優れた再構成画像を生成すること。

提案手法

• 潜在特徴をチャネルインデックスに基づいてグループに分割し、順次符号化することで、クロスチャネルコンテキストモデリングを可能にする。
• 各グループに対して、事前に符号化されたグループが学習された自己回帰モデルを通じて文脈を提供し、長距離のチャネル間依存関係をモデリング可能にする。
• クロスチャネルコンテキストと2次元マスク畳み込みによる局所的空間的コンテキストを組み合わせ、ハイブリッドコンテキストモデルを構築する。
• CompressAIフレームワーク内に統合されたcheng2020-attnアーキテクチャにモデルを統合し、エンドツーエンドのトレーニングと評価を実施する。
• 3次元マスク畳み込みベースラインと比較することで、意味のあるチャネル間相関を捉える能力の限界を示す。
• 各グループのエントロピーモデルがすべての先行グループに依存する、直列的かつグループ単位の自己回帰構造を採用する。

実験結果

リサーチクエスチョン

• RQ1 深層画像符号化の潜在表現におけるチャネル間相関を、空間的文脈を超えて効果的にモデリングできるか？
• RQ2 2次元または3次元マスク畳み込みと比較して、クロスチャネルコンテキストを用いた順次的グループワイズ符号化が符号化効率を向上させるか？
• RQ3 PSNR基準で、最新の動画符号化標準VVCを上回るBD-rate性能を達成できるか？
• RQ4 MS-SSIMに基づく最適化により、提案手法はより視覚的に魅力的な再構成画像を生成できるか？
• RQ5 提案手法の計算複雑度は、ベースラインおよび3次元畳み込みベースラインと比較してどの程度か？

主な発見

• Kodakデータセットにおいて、PSNR基準でベースラインのエントロピーモデル比6.30%のBD-rate低減を達成した。
• CVPR CLIC2020プロフェッショナルデータセットにおいて、PSNR基準でベースライン比6.31%のBD-rate低減を達成した。
• KodakおよびCVPR CLIC2020データセットにおいて、それぞれVVC比2.50%および2.20%のBD-rate低減を達成した（PSNR基準）。
• MS-SSIM最適化下では、テクスチャの保持とアーチファクトの低減が顕著に改善され、視覚的により快適な再構成画像が得られた。
• 主観評価では、ゴールデンボールや雲などの複雑なテクスチャにおいて、JPEG、JPEG2000、BPG、VVCと比較して優れたディテール保持性能を示した。
• エンコーディング時間はベースライン比2.45倍、デコーディング時間は3.77倍に増加し、モデルサイズも1.35倍に増加した。