[論文レビュー] Joint Autoregressive and Hierarchical Priors for Learned Image Compression

David Minnen, Johannes Ballé+1 more|arXiv (Cornell University)|Sep 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 593

ひとこと要約

本論文は、自動回帰的文脈モデルと hyperprior を組み合わせた学習済み画像圧縮を拡張し、PSNRとMS-SSIMでBPGや他のコーデックを上回る最先端のレート–ディストーション性能を達成する。

ABSTRACT

Recent models for learned image compression are based on autoencoders, learning approximately invertible mappings from pixels to a quantized latent representation. These are combined with an entropy model, a prior on the latent representation that can be used with standard arithmetic coding algorithms to yield a compressed bitstream. Recently, hierarchical entropy models have been introduced as a way to exploit more structure in the latents than simple fully factorized priors, improving compression performance while maintaining end-to-end optimization. Inspired by the success of autoregressive priors in probabilistic generative models, we examine autoregressive, hierarchical, as well as combined priors as alternatives, weighing their costs and benefits in the context of image compression. While it is well known that autoregressive models come with a significant computational penalty, we find that in terms of compression performance, autoregressive and hierarchical priors are complementary and, together, exploit the probabilistic structure in the latents better than all previous learned models. The combined model yields state-of-the-art rate--distortion performance, providing a 15.8% average reduction in file size over the previous state-of-the-art method based on deep learning, which corresponds to a 59.8% size reduction over JPEG, more than 35% reduction compared to WebP and JPEG2000, and bitstreams 8.4% smaller than BPG, the current state-of-the-art image codec. To the best of our knowledge, our model is the first learning-based method to outperform BPG on both PSNR and MS-SSIM distortion metrics.

研究の動機と目的

• GSMベースのエントロピーモデルを Gaussian mixture prior で拡張する。
• エントロピーをさらに低減するために自動回帰コンテキストモデルを組み込む。
• レート–ディストーション性能を最大化するために自動回帰コンテキストと hyperprior を組み合わせる。
• 文脈サイズ、分布、および複雑性の間のトレードオフを評価し、variant を定量化する。
• 標準ベンチマーク（Kodak）で最先端の結果を示し、BPGおよび他のコーデックと比較する。

提案手法

• scale hyperprior から hyperprior 条件付きの Gaussian mixture model へエントロピーモデルを一般化した。
• 各潜在量について平均とスケールを予測するために潜在量上の自動回帰文脈モデルを追加した。
• 文脈モデルと hyperprior を結合して条件付きガウス分布を持つ結合エントロピーモデルを形成した。レート–ディストーション目的関数でエンドツーエンドに訓練。
• 訓練時には微分可能性のため潜在量を単位一様分布と畳み込んだ Gaussian としてモデル化した。
• 二部構成の潜在パイプラインを使用: 潜在 y とハイパー潜在 z、それぞれ loss 関数におけるエントロピーコストを持つ。
• アーキテクチャのバリアント（コンテキストのみ、ハイパープリオのみ、そして結合）を検討し、文脈サイズと分布の選択を分析した。

実験結果

リサーチクエスチョン

• RQ1 学習済み画像コーデックにおいて、階層的 priors と組み合わせたときに自動回帰 prior は圧縮性能を向上させるか？
• RQ2 Gaussian mixture entropy model を scale hyperprior と比較した場合、レート–ディストーション性能にどのような影響があるか？
• RQ3 文脈（ autoregressive ）と hyperprior の組み合わせはビットストリームサイズと再構成品質にどう影響するか？
• RQ4 学習済み画像圧縮におけるモデルの複雑性、文脈サイズ、圧縮利得の実用的トレードオフは何か？

主な発見

• 自動回帰とハイパ priors の結合モデルは最先端のレート–ディストーション性能を達成する。
• 結合モデルは、以前の最先端の学習済み手法に対してファイルサイズを平均で15.8%削減する。
• この削減は JPEG に対して59.8% のサイズ削減を、WebP および JPEG2000 に対しては 35% 以上の削減に相当する。
• ビットストリームは BPG より8.4%小さい。
• 著者らの知る限り、このモデルは PSNR と MS-SSIM の両方で BPG を上回る初の学習ベース手法である。
• Gaussian mixture entropy model はより単純な GSM よりも利点を提供するが、漸近的な計算量を増やすことはない。