[論文レビュー] Modeling Lost Information in Lossy Image Compression

Yaolong Wang, Xiao Ming-qing+3 more|arXiv (Cornell University)|Jun 22, 2020

Advanced Data Compression Techniques参考文献 31被引用数 19

ひとこと要約

本稿では、画像圧縮中の損失情報を、入力画像と同じ次元性を保つ可逆符号化モジュールを用いて明示的に捉え、補助潜在変数に格納する、新しいフレームワークである可逆損失圧縮（ILC）を提案する。この潜在変数を標準正規分布に従わせ、再構築時にサンプリングすることで、ビットレートを増加させることなく、ベースラインの自己符号化器手法に比べて再構築品質を最大0.4 dBのPSNR向上を達成する。

ABSTRACT

Lossy image compression is one of the most commonly used operators for digital images. Most recently proposed deep-learning-based image compression methods leverage the auto-encoder structure, and reach a series of promising results in this field. The images are encoded into low dimensional latent features first, and entropy coded subsequently by exploiting the statistical redundancy. However, the information lost during encoding is unfortunately inevitable, which poses a significant challenge to the decoder to reconstruct the original images. In this work, we propose a novel invertible framework called Invertible Lossy Compression (ILC) to largely mitigate the information loss problem. Specifically, ILC introduces an invertible encoding module to replace the encoder-decoder structure to produce the low dimensional informative latent representation, meanwhile, transform the lost information into an auxiliary latent variable that won't be further coded or stored. The latent representation is quantized and encoded into bit-stream, and the latent variable is forced to follow a specified distribution, i.e. isotropic Gaussian distribution. In this way, recovering the original image is made tractable by easily drawing a surrogate latent variable and applying the inverse pass of the module with the sampled variable and decoded latent features. Experimental results demonstrate that with a new component replacing the auto-encoder in image compression methods, ILC can significantly outperform the baseline method on extensive benchmark datasets by combining with the existing compression algorithms.

研究の動機と目的

• 可逆的でない情報損失が高品質な回復を妨げる、損失圧縮における画像再構築の不適切な性質に対処する。
• 特に高周波成分を含む、符号化時の情報損失の統計的挙動を明示的にモデル化・保存する。
• 完全な可逆性を維持し、再構築が容易な構造を実現するため、標準的な自己符号化器構造を可逆符号化モジュールに置き換える。
• 事前に訓練された教師モデルからの知識蒸留を活用することで、トレーニングの高速化と再構築忠実度の向上を図り、レート・リソース性能を改善する。
• 損失情報を明示的にモデル化することで、特に低ビットレートにおいて顕著なPSNR向上が得られることを示す。

提案手法

• 入力画像と同じ次元性を保つ可逆符号化モジュール（IEM）を標準的な自己符号化器に置き換えることで、完全な可逆性を確保する。
• IEMの出力を2つに分割する：y（圧縮された潜在表現）とz（損失情報を格納する補助潜在変数）。
• 符号化のためのエントロピー符号化にはyのみを量子化し、zは等方的正規分布に従うようにモデル化することで、再構築時にサンプリング可能にする。
• 事前に訓練された教師モデルからのソフトラベルを用いた知識蒸留により、トレーニングを加速させ、表現品質を向上させる。
• 復号済みのyと学習済み正規分布からサンプリングしたzを用いて、IEMの逆伝播を適用することで元の画像を再構築する。
• zが標準正規分布に従うよう促す分布マッチング損失を適用し、再構築時の安定的かつ意味のあるサンプリングを保証する。

実験結果

リサーチクエスチョン

• RQ1 圧縮時に損失情報を明示的にモデル化することで、損失圧縮における再構築品質が向上するか？
• RQ2 自己符号化器を可逆符号化モジュールに置き換えることで、標準的な自己符号化器ベース手法に比べてより優れたレート・リソース性能が得られるか？
• RQ3 事前に訓練された教師モデルからの知識蒸留が、可逆モジュールのトレーニングを効果的に導き、収束を加速できるか？
• RQ4 ILCの性能はビットレートが低下するに従ってどのように変化するか、特にベースライン手法に対するPSNR向上の観点からどうなるか？
• RQ5 補助潜在変数zの統計的モデル化が、再構築忠実度にどの程度寄与しているか？

主な発見

• 同じ圧縮レートにおいて、ベースライン自己符号化器手法に比べてILCは約0.4 dBのPSNR向上を達成し、複数のデータセットで一貫した向上を示す。
• ILCの性能向上は、情報損失が顕著に顕在する低ビットレート領域でより顕著になる。これは、高周波成分の明示的モデル化が極めて重要であることを示唆する。
• ILCは教師モデルの性能と強く正の相関を示しており、フレームワークが教師の表現を効果的に学習し、一般化できることを示している。
• 指定された正規分布から最も尤もらしいz値をサンプリングすることで、ランダムサンプリングよりも優れた再構築が得られる。これは、分布モデル化の重要性を強調している。
• 知識蒸留の導入により、トレーニングが著しく加速され、IEMが学習する潜在表現の品質も向上している。
• KodakおよびImageNetデータセットにおける広範な実験により、ILCはさまざまな圧縮レートにおいて、常にベースライン手法を上回ることが確認された。