[論文レビュー] Compressing Images by Encoding Their Latent Representations with Relative Entropy Coding

Gergely Flamich, Marton Havasi+1 more|arXiv (Cornell University)|Oct 2, 2020

Generative Adversarial Networks and Image Synthesis被引用数 18

ひとこと要約

この論文は、変分自己オートエンコーダー（VAEs）の潜在表現をインデックスベースの重要度サンプリングを用いて直接符号化する、新しい損失なしおよび損失あり画像符号化手法である相対エントロピー符号化（REC）を提案する。この手法により、事後分布と事前分布の間の相対エントロピーに近い符号長が達成される。従来のビットバック手法とは異なり、RECは補助ビットを不要とし、単一画像に対して効率的に動作し、量子化を伴わない連続的潜在空間で動作する。損失なしベンチマークでは既存手法を上回り、PSNRおよびMS-SSIM指標において損失あり符号化で最先端の性能を達成する。

ABSTRACT

Variational Autoencoders (VAEs) have seen widespread use in learned image compression. They are used to learn expressive latent representations on which downstream compression methods can operate with high efficiency. Recently proposed 'bits-back' methods can indirectly encode the latent representation of images with codelength close to the relative entropy between the latent posterior and the prior. However, due to the underlying algorithm, these methods can only be used for lossless compression, and they only achieve their nominal efficiency when compressing multiple images simultaneously; they are inefficient for compressing single images. As an alternative, we propose a novel method, Relative Entropy Coding (REC), that can directly encode the latent representation with codelength close to the relative entropy for single images, supported by our empirical results obtained on the Cifar10, ImageNet32 and Kodak datasets. Moreover, unlike previous bits-back methods, REC is immediately applicable to lossy compression, where it is competitive with the state-of-the-art on the Kodak dataset.

研究の動機と目的

• 単一画像の損失なし符号化に用いられる従来のビットバック手法が補助ビットを必要とし、孤立した画像では性能が低下するという非効率性を是正すること。
• 量子化を伴わない連続的潜在表現の直接的かつ効率的な符号化を可能とすることにより、学習とモデルスケーラビリティに支障をきたす要因を排除すること。
• 単一画像に対して、事後分布と事前分布の間の相対エントロピーに近い符号長を達成する手法を開発することにより、高効率な損失なしおよび損失あり符号化を実現すること。
• RECが連続的潜在空間を持つ市販のVAEに適用可能であり、非微分可能な量子化ステップの必要性を排除できることを実証すること。

提案手法

• RECは、共有シードを用いた擬似乱数生成器により生成された共有シーケンス z₁, z₂, ..., zₙ ~ p(z) 内のインデックス i を用いて、潜在サンプル z ~ q(z|x) を符号化する。
• インデックス i の符号長は、重要度サンプリングを活用することで、相対エントロピー KL[q(z|x) || p(z)] を近似する。ここで、インデックス i を選択する確率は、事後密度 q(zᵢ|x) に比例する。
• 受信者は同じ共有乱数シーケンスを用いて i 番目の事前サンプルを再構築することで z を復元し、追加の送信なしに正しく復号可能である。
• 残差は、符号長 -log P(x|z) を用いたエントロピー符号化（例：算術符号化）で別個に符号化され、期待値において負のELBOに近い総符号長が得られる。
• この手法は、固定サイズのバッファを用いたインデックス符号化（iREC）として実装されており、事後密度に基づき動的に最も可能性の高い zᵢ を選択する。
• iRECは連続的潜在変数上で直接動作するため、量子化を回避し、微分可能性の問題が生じないVAEのエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 補助ビットを必要とせず、単一画像に対して事後分布と事前分布の間の相対エントロピーに近い符号長を達成できる損失なし符号化手法は実現可能か？
• RQ2 学習中に非微分可能な量子化ステップを導入せずに、連続的潜在空間を画像符号化に使用できるか？
• RQ3 RECは損失あり符号化に拡張可能であり、最先端の学習済み符号化手法と同等または優れた性能を達成できるか？
• RQ4 RECでは補助ビットが存在しないため、従来のビットバック手法と比較して単一画像の符号化効率が顕著に向上するか？

主な発見

• iRECは、補助ビットを不要とし、単一画像ベンチマークにおいて従来のビットバック手法を著しく上回る損失なし符号化性能を達成する。
• Cifar10、ImageNet32、Kodak データセットにおいて、iRECは相対エントロピーによって与えられる理論的下限に近い符号長を達成し、補助的オーバーヘッドなしで実現する。
• 損失あり符号化において、iRECはPSNRおよびMS-SSIM指標の両方で最先端の学習済み符号化手法と同等またはそれを上回る性能を達成しており、特にKodakデータセットで顕著な優位性を示す。
• 量子化を回避し、連続的潜在空間上で直接動作するため、微分可能性の問題が生じず、モデルスケーラビリティが向上する。
• iRECはVAEにプルーニングや余分な潜在次元が存在しても高い効率を維持する。符号長は次元数に依存せず、相対エントロピーに依存するためである。
• 圧縮速度は現在の限界であるが、著者らは今後の最適化の対象であるとして指摘している。