[論文レビュー] Improving Inference for Neural Image Compression

Yibo Yang, Robert Bamler+1 more|arXiv (Cornell University)|Jun 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 40被引用数 46

ひとこと要約

本論文はVAEベースのニューラル画像圧縮における3つの近似ギャップを特定し、それに対応する3つの推論改善を提案する――ハイブリッドアモタイズド-反復推論、離散化のための確率的Gumbelアニーリング、そして損失のあるbits-backコーディング――を導入し、最新の最先端結果を達成している。

ABSTRACT

We consider the problem of lossy image compression with deep latent variable models. State-of-the-art methods build on hierarchical variational autoencoders (VAEs) and learn inference networks to predict a compressible latent representation of each data point. Drawing on the variational inference perspective on compression, we identify three approximation gaps which limit performance in the conventional approach: an amortization gap, a discretization gap, and a marginalization gap. We propose remedies for each of these three limitations based on ideas related to iterative inference, stochastic annealing for discrete optimization, and bits-back coding, resulting in the first application of bits-back coding to lossy compression. In our experiments, which include extensive baseline comparisons and ablation studies, we achieve new state-of-the-art performance on lossy image compression using an established VAE architecture, by changing only the inference method.

研究の動機と目的

• VAEsを用いたニューラルロス圧縮画像の推論改善を動機づける。
• 現在の推論アプローチにおける3つの近似ギャップを特定し、形式化する。
• アモタイズメント、離散化、および周辺化のギャップに対処する手法を提案・検証する。
• 標準ベンチマークでベースラインおよびアブレーションより性能向上を示す。

提案手法

• ロスのある画像圧縮のための変分オートエンコーダ（VAE）フレームワークとそのレート-歪み目的を分析する。
• 圧縮時のアモタイズメントギャップを低減するためのハイブリッドアモタイズド-反復推論を導入する。
• 離散潜在表現を直接最適化し離散化ギャップを縮めるためのStochastic Gumbel Annealing（SGA）を開発する。
• デコーダ側で再現性のあるBBVIを用いた2段階推論手順とともに、ロスのある圧縮へbits-backコーディングを拡張して周辺化ギャップに対処する。

実験結果

リサーチクエスチョン

• RQ1 ロスのある画像圧縮に用いられる従来のVAEsにおける主な近似ギャップは何か。
• RQ2 ハイブリッドアモタイズド-反復推論、SGAによる離散化最適化、損失のあるbits-backコーディングを組み合わせてこれらのギャップを共に埋め、圧縮性能を向上させることができるか。
• RQ3 標準的な画像圧縮ベンチマークにおいて、これらの手法は既存のベースラインと比較してどのように性能を示すか。

主な発見

• 提案手法は、推論手法のみを変えることで、確立されたVAEアーキテクチャを用いたロスのある画像圧縮で新しい最先端性能を達成する。
• SGAは離散化ギャップを閉じ、同じ初期化条件で評価した方法の中で最も低い真のレート歪み損失を達成する。
• ハイブリッドアモタイズド-反復アプローチは、モデルを再訓練せずに圧縮時に変分パラメータを洗練させることで圧縮を改善する。
• 損失のあるbits-backコーディングはサイド情報を活用して周辺化ギャップを縮小し、全体のレート歪み性能を向上させる。
• 実験は劇的なレート歪みの改善を示し、Kodakデータセットで従来法と比較してBD率で15%以上、Tecnickデータセットで20%以上の節約を達成。