[論文レビュー] An End-to-End Joint Learning Scheme of Image Compression and Quality Enhancement with Improved Entropy Minimization

Jooyoung Lee, Seung-Hyun Cho+1 more|arXiv (Cornell University)|Dec 30, 2019

Advanced Data Compression Techniques参考文献 22被引用数 40

ひとこと要約

JointIQ-Net は、Gaussian Mixture Model と global context を用いたエントロピー最適化を含むカスケード内で画像圧縮と品質向上モジュールを共同最適化し、PSNR と MS-SSIM で VVC Intra を上回る最先端の結果を達成します。

ABSTRACT

Recently, learned image compression methods have been actively studied. Among them, entropy-minimization based approaches have achieved superior results compared to conventional image codecs such as BPG and JPEG2000. However, the quality enhancement and rate-minimization are conflictively coupled in the process of image compression. That is, maintaining high image quality entails less compression and vice versa. However, by jointly training separate quality enhancement in conjunction with image compression, the coding efficiency can be improved. In this paper, we propose a novel joint learning scheme of image compression and quality enhancement, called JointIQ-Net, as well as entropy model improvement, thus achieving significantly improved coding efficiency against the previous methods. Our proposed JointIQ-Net combines an image compression sub-network and a quality enhancement sub-network in a cascade, both of which are end-to-end trained in a combined manner within the JointIQ-Net. Also the JointIQ-Net benefits from improved entropy-minimization that newly adopts a Gussian Mixture Model (GMM) and further exploits global context to estimate the probabilities of latent representations. In order to show the effectiveness of our proposed JointIQ-Net, extensive experiments have been performed, and showed that the JointIQ-Net achieves a remarkable performance improvement in coding efficiency in terms of both PSNR and MS-SSIM, compared to the previous learned image compression methods and the conventional codecs such as VVC Intra (VTM 7.1), BPG, and JPEG2000. To the best of our knowledge, this is the first end-to-end optimized image compression method that outperforms VTM 7.1 (Intra), the latest reference software of the VVC standard, in terms of the PSNR and MS-SSIM.

研究の動機と目的

• 画像圧縮と品質向上を共同最適化することにより、符号化効率の改善を動機づける。
• 圧縮と連鎖させて任意の品質向上ネットワークを組み込めるエンドツーエンドのフレームワークを開発する。
• Gaussian Mixture Models とグローバルな文脈情報を用いたエントロピー推定を改善する。
• 結合学習が分離学習よりも良いレート歪み性能をもたらすことを実証する。

提案手法

• JointIQ-Net を提案する：画像圧縮サブネットワークと品質向上サブネットワーク（GRDN）のカスケードを共同エンドツーエンドで訓練する。
• 潜在表現 y_hat のためのガウス混合モデル（GMM）事前分布を用いた改良されたエントロピー推定モデルを採用し、コンテキスト認識モデル推定器 f によって推定する。
• GMM パラメータ推定のための専用のグローバルコンテキスト抽出モジュールと MPRM 改良を用いて、グローバルコンテキスト c''' を組み込む。
• 量子化を扱うための密度畳み込みの工夫とともに、事前モデル化を備えたハイパー前提 z_hat と自己回帰的な y_hat|z_hat を利用する。
• 学習は結合損失 L = R + lambda D で訓練され、R は学習済み事前分布によるレート、D は最終的に強化された出力に対する歪みで測定される。
• 実験では、GRDN を画像圧縮ネットワークとカスケードさせて JointIQ-Net を形成し、任意の品質向上ネットワークの柔軟な統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 画像圧縮と品質向上のエンドツーエンド最適化を結ぶことで、別個に訓練されたコンポーネントよりも良いレート歪み性能を得られるか。
• RQ2 Gaussian Mixture Model の事前分布とグローバルコンテキストの組み込みはエントロピー推定と符号化効率を改善するか。
• RQ3 提案スキームは PSNR および MS-SSIM において VVC Intra、BPG、JPEG2000、および事前学習済み手法と比較してどうか。
• RQ4 GRDN、グローバルコンテキスト、MPRM、GMM の全体性能への相対的寄与はどの程度か。
• RQ5 提案されたグローバルコンテキスト機構は非局所的な依存関係を効果的に捉えて符号化効率を改善するか。

主な発見

• JointIQ-Net は Kodak PhotoCD テストで PSNR および MS-SSIM において従来の学習済み手法および従来のコーデックを上回る。
• 本手法は VVC Intra (VTM 7.1) を PSNR および MS-SSIM の両方で超えると報告されており、学習済み画像圧縮アプローチとして初めてこれを達成。
• GMM ベースの事前分布と強化された推定器とグローバルコンテキストは、単一ガウスモデルよりも符号化利得を提供。
• GRDN を品質向上モジュールとして用いたカスケードは、テストされた構成の中で最も良い性能を示す。
• アブレーション研究は GRDN と GMM から有意な利得を示し、グローバルコンテキストは追加の改善を与え、MPRM はより高いビットレートで寄与する。