[論文レビュー] Learned Image Compression with Gaussian-Laplacian-Logistic Mixture Model and Concatenated Residual Modules

Haisheng Fu, Feng Liang+8 more|arXiv (Cornell University)|Jul 14, 2021

Advanced Data Compression Techniques被引用数 14

ひとこと要約

本稿では、学習済み画像圧縮におけるエントロピーモデリングのための新規なガウス-ラプラス-ロジスティック混合モデル（GLLMM）と、連結型残差ブロック（CRB）アーキテクチャを提案する。複数の分布を組み合わせることで、多様な画像コンテンツをより正確にモデル化し、ショートカット接続を備えたスタックド残差ブロックにより特徴量の学習を強化することで、Kodak、Tecnick-100、Tecnick-40 データセットにおいて、PSNR および MS-SSIM の両面で VVC や先行の学習ベース手法を上回る最先端の性能を達成した。

ABSTRACT

Recently deep learning-based image compression methods have achieved significant achievements and gradually outperformed traditional approaches including the latest standard Versatile Video Coding (VVC) in both PSNR and MS-SSIM metrics. Two key components of learned image compression are the entropy model of the latent representations and the encoding/decoding network architectures. Various models have been proposed, such as autoregressive, softmax, logistic mixture, Gaussian mixture, and Laplacian. Existing schemes only use one of these models. However, due to the vast diversity of images, it is not optimal to use one model for all images, even different regions within one image. In this paper, we propose a more flexible discretized Gaussian-Laplacian-Logistic mixture model (GLLMM) for the latent representations, which can adapt to different contents in different images and different regions of one image more accurately and efficiently, given the same complexity. Besides, in the encoding/decoding network design part, we propose a concatenated residual blocks (CRB), where multiple residual blocks are serially connected with additional shortcut connections. The CRB can improve the learning ability of the network, which can further improve the compression performance. Experimental results using the Kodak, Tecnick-100 and Tecnick-40 datasets show that the proposed scheme outperforms all the leading learning-based methods and existing compression standards including VVC intra coding (4:4:4 and 4:2:0) in terms of the PSNR and MS-SSIM. The source code is available at \url{https://github.com/fengyurenpingsheng}

研究の動機と目的

• 多様な画像コンテンツにわたって単一の確率分布を用いるエントロピーモデリングの限界を是正すること。
• 新規なブロックアーキテクチャを用いて残差学習を強化することで、圧縮ネットワークの表現能力を向上させること。
• 既存の学習ベース圧縮手法および VVC 標準を上回るレート・ディストーション性能を達成すること。
• 高度なモデリングとネットワーク設計により、潜在表現における残差相関を低減すること。
• 提案された構成要素が単体でおよび組み合わせて標準ベンチマークに与える効果を評価すること。

提案手法

• 3つの分布を組み合わせた離散化されたガウス-ラプラス-ロジスティック混合モデル（GLLMM）を導入し、単一分布モデルに比べて、潜在表現のモデリングをより柔軟かつ正確に行う。
• 複数の残差ブロックをスタックし、追加のスキップ接続を備えた連結型残差ブロック（CRB）を設計することで、特徴量の学習と勾配の流れを向上させる。
• 訓練目的関数においてピーク信号対ノイズ比と構造的類似性の両方をバランスさせるために、MSE と MS-SSIM のハイブリッド損失関数を採用する。
• 潜在特徴量の空間的相関をさらに低減し、エントロピー符号化効率を向上させるために、自己回帰的コンテキストモデルを適用する。
• パフォーマンス向上の評価のために先行研究のポストプロセッシングモジュールを適用したが、提案手法は本質的な改善を既に達成しているため、その恩恵は限定的であった。
• 性能と計算コストのバランスを取るためにモデルの複雑さを最適化し、アブレーションスタディを通じてアテンションおよびコンテキストモデリング部の影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 ガウス、ラプラス、ロジスティックの混合分布は、単一分布モデルに比べ、潜在特徴量の統計的分布をよりよくモデル化できるか？
• RQ2 追加のスキップ接続を備えた複数の残差ブロックをスタックすることで（CRB）、ネットワークの学習能力および圧縮性能が向上するか？
• RQ3 提案された GLLMM および CRB アーキテクチャは、VVC や他の最先端の学習ベース圧縮手法と比較して、PSNR および MS-SSIM の観点でどの程度優れているか？
• RQ4 自己回帰的コンテキストモデルおよびポストプロセッシングモジュールは、最終的な圧縮性能にどのような影響を及ぼすか？
• RQ5 外部のポストプロセッシングに依存せずに優れた性能を達成できるか。これは、提案手法の本質的強度と効率性を示唆する。

主な発見

• Kodak データセットにおいて、0.1556 bpp で 29.63 dB の PSNR を達成し、VVC（4:4:4）およびすべての先行学習ベース手法を上回った。
• Tecnick-100 データセットでは、0.4408 bpp で 33.97 dB の PSNR を達成し、優れたレート・ディストーション性能を示した。
• GLLMM モデルは、潜在特徴量における空間的およびチャネルワイドな相関をよりよく捉えることで、エントロピー符号化の冗長性を低減した。
• CRB アーキテクチャは特徴量表現学習を向上させ、ベースラインの残差ネットワークに比べて 0.2–0.3 dB の PSNR 向上を寄与した。
• [24] からのポストプロセッシングモジュールはわずかな向上（PSNR で 0.02 dB）しかもたらさず、提案手法が既に高い本質的性能を達成していることを示した。
• VVC よりもデコードが遅いものの、いくつかの先行学習ベース手法よりも速く、大多数の SOTA モデルよりも小さなモデルサイズであった。