[論文レビュー] Context-adaptive Entropy Model for End-to-end Optimized Image Compression

Jooyoung Lee, Seung-Hyun Cho+1 more|arXiv (Cornell University)|Sep 27, 2018

Advanced Data Compression Techniques被引用数 252

ひとこと要約

本論文は、2種類の文脈タイプ（ビット消費型とビットフリー型）を備えた文脈適応エントロピー模型を導入し、エンドツーエンド最適化された画像圧縮を改善し、PSNRおよびMS-SSIMでBPGおよびJPEG2000を上回る最先端の結果を達成します。

ABSTRACT

We propose a context-adaptive entropy model for use in end-to-end optimized image compression. Our model exploits two types of contexts, bit-consuming contexts and bit-free contexts, distinguished based upon whether additional bit allocation is required. Based on these contexts, we allow the model to more accurately estimate the distribution of each latent representation with a more generalized form of the approximation models, which accordingly leads to an enhanced compression performance. Based on the experimental results, the proposed method outperforms the traditional image codecs, such as BPG and JPEG2000, as well as other previous artificial-neural-network (ANN) based approaches, in terms of the peak signal-to-noise ratio (PSNR) and multi-scale structural similarity (MS-SSIM) index.

研究の動機と目的

• 訓練可能なエントロピー模型をレート-歪みの枠組みの中で用いたエンドツーエンドの画像圧縮を動機付ける。
• 潜在分布をより良く推定するための2つの文脈エントロピー模型を提案する（ビット消費型とビットフリー型）。
• 従来のコーデックおよび先行するANNベース手法よりも圧縮性能の改善を実証する。
• 文脈からの平均と分散の推定が潜在表現の空間的依存性を低減する方法を分析する。

提案手法

• Ballé ら（2018）のエントロピー模型を拡張し、各潜在変数のガウス事前分布のmuとsigmaを推定するために2つの文脈タイプを組み込む。
• 4-変換オートエンコーダフレームワーク（g_a, g_s, h_a, h_s）と、連結された文脈を受け取りmu_iとsigma_iを生成する分布推定器fを使用する。
• 2つの文脈抽出器E'（ビット消費型）とE''（ビットフリー型）を用いて分布推定器を条件付けし、レートと歪みのエンドツーエンド最適化を可能にする。
• 訓練時にはランク–歪み目的関数L = R + lambda Dを用い、離散量子化分布を近似するために訓練時には一様ノイズを使用する。
• エンコーダとデコーダ間でエントロピ模型のパラメータを共有し、より高いビットレートに対してはコストと性能のバランスを取る軽量なハイブリッドモデルを使用する。
• MSEとMS-SSIMの歪みで評価し、複数のlambda構成でPSNRとMS-SSIMを報告し、BPGおよびJPEG2000と比較する。

実験結果

リサーチクエスチョン

• RQ1 デュアル文脈タイプを持つ文脈適応エントロピー模型は、エンドツーエンドの画像圧縮における潜在分布推定の精度を向上させるか？
• RQ2 ビットフリー型とビット消費型の両方の文脈からmuとsigmaを推定することで空間的依存性を低減し、レート-歪み性能を改善できるか？
• RQ3 提案されたフレームワークはPSNRとMS-SSIMにおいて従来のコーデック（BPG、JPEG2000）および先行のANNベース手法と比較してどのようか？
• RQ4 レート-歪み最適化のためのモデル容量と文脈レベルの実用的トレードオフは何か？

主な発見

• 提案された文脈適応エントロピー模型はPSNRとMS-SSIMでBPGおよびJPEG2000を上回る。
• JPEG2000、Ballé et al.（2018）、およびBPGに対するPSNRのBD-レート利得はそれぞれ34.08%、11.97%、6.85%である。
• MS-SSIMに対するBD-レート利得はJPEG2000、Ballé et al.（2018）、およびBPGに対してそれぞれ68.82%、13.93%、49.68%である。
• ビットフリー型とビット消費型の両方の文脈からmuとsigmaを推定すると、sigmaのみを推定する場合より潜在表現の空間的依存性をより効果的に低減する。
• このフレームワークはANNベース手法の中で最先端の性能を達成し、従来のコーデックを両方の主要指標で上回る。