[論文レビュー] Improving Statistical Fidelity for Neural Image Compression with Implicit Local Likelihood Models

Matthew J. Muckley, Alaaeldin El-Nouby+3 more|arXiv (Cornell University)|Jan 26, 2023

Digital Media Forensic Detection被引用数 7

ひとこと要約

本稿では、VQ-VAEで学習された潜在コードを用いて局所的画像尤度をモデル化することで、統計的忠実度を向上させる、ニューラル画像圧縮向けの新規な非二値敵対的識別器、暗黙的局所尤度モデル（ILLM）を提案する。CLIC2020、DIV2K、Kodakで評価した結果、MS-ILLMはHiFiCと同等のFIDを30–40%低いビットレートで達成し、PSNRは同等を維持しながら、PatchGANベースのベースラインより歪み–忠実度トレードオフにおいて優れている。

ABSTRACT

Lossy image compression aims to represent images in as few bits as possible while maintaining fidelity to the original. Theoretical results indicate that optimizing distortion metrics such as PSNR or MS-SSIM necessarily leads to a discrepancy in the statistics of original images from those of reconstructions, in particular at low bitrates, often manifested by the blurring of the compressed images. Previous work has leveraged adversarial discriminators to improve statistical fidelity. Yet these binary discriminators adopted from generative modeling tasks may not be ideal for image compression. In this paper, we introduce a non-binary discriminator that is conditioned on quantized local image representations obtained via VQ-VAE autoencoders. Our evaluations on the CLIC2020, DIV2K and Kodak datasets show that our discriminator is more effective for jointly optimizing distortion (e.g., PSNR) and statistical fidelity (e.g., FID) than the PatchGAN of the state-of-the-art HiFiC model. On CLIC2020, we obtain the same FID as HiFiC with 30-40\% fewer bits.

研究の動機と目的

• 低ビットレートにおけるぼやけの発生が顕著になる状況において、歪みと統計的忠実度の間の本質的トレードオフを解消すること。
• 画像生成に適応された従来のGANベースの識別器は、圧縮における局所的・詳細回復特性に適合していない可能性があるため、それを改善すること。
• VQ-VAEで学習されたコードブック表現を用いて、局所的画像尤度をモデル化する識別器を開発し、忠実度最適化を向上させること。
• 標準的なPatchGANと比較して、局所的かつ暗黙的な尤度モデリングが、より優れたレート–歪み–認知トレードオフを実現することを示すこと。
• CLIC2020、DIV2K、Kodakの複数のベンチマークで、定量的・定性的な比較を通じて手法の有効性を検証すること。

提案手法

• ILLM識別器は、VQ-VAEベースのエンコーダを用いて量子化された局所的画像パッチに条件付けられ、局所的画像ネighborhoodの潜在空間における暗黙的尤度を学習する。
• 識別器は、正則化層を一切含まないU-Netとして実装されており、実験的に、スペクトル正則化やインスタンス正則化よりもトレーニング安定性と性能が優れていることが示された。
• Mean-Scale Hyperpriorアーキテクチャと統合され、PSNRとFIDの両方を同時に最適化する新しい圧縮器、MS-ILLMが構築された。
• VQ-VAE部は局所的画像パッチの離散的潜在コードを生成し、識別器はそれらを用いて明示的な密度推定を伴わずに局所的尤度を推定する。
• トレーニング目的関数は、再構成損失（PSNR）と敵対的損失（FID）のバランスをとる。識別器は、局所的潜在空間において実画像と再構成画像を区別するように学習される。
• アブレーションスタディでは、潜在空間サイズとコードブックサイズが性能に与える影響が評価され、これらのハイパーパrameterに対してはやや敏感であることが示された。

実験結果

リサーチクエスチョン

• RQ1 局所的・暗黙的尤度に基づく識別器は、グローバルGAN識別器を上回る統計的忠実度をニューラル画像圧縮で実現できるか？
• RQ2 VQ-VAEで学習された局所的潜在コードに条件付けた識別器は、低ビットレート領域においてPatchGANよりも優れたFIDとPSNRのトレードオフを達成できるか？
• RQ3 正則化層や潜在次元といったアーキテクチャ的選択が、ILLM識別器の性能に与える影響は何か？
• RQ4 提案手法は、HiFiCと比較して顕著に低いビットレートで最先端のFIDを達成できるか？
• RQ5 細かいテクスチャーやテキストのような挑戦的な画像コンテンツにおいて、この手法はどのように性能を示すか？

主な発見

• CLIC2020において、MS-ILLMはHiFiCと同等のFIDを達成しながら、30–40%少ないビット数を用いた。これは、より優れたレート–歪み–認知トレードオフを示している。
• 0.149 bppで、MS-ILLMは26.6のPSNRとFID 2.55を達成し、0.181 bppで動作するHiFiC（26.8 PSNR、FID 3.04）を上回った。
• Qualitativeな比較により、特に毛布や細かいディテールを含むテクスチャ豊富な領域で、HiFiCと比較してアーティファクトが少なく抑えられていることが示された。
• 驚くべきことに、スペクトル正則化が従来のGAN研究で標準的であるにもかかわらず、正則化層を一切含まないU-Net識別器が最も優れた性能を示した。
• アブレーションでは、VQ-VAEの潜在空間サイズを16×16から32×32に増加させることで、0.121 bppでFIDが0.12点改善（2.65 → 2.55）されたが、コードブックサイズの影響は最小限であった。
• テキストを多く含む画像では、MS-ILLMはHiFiCよりも文字の可読性をよりよく保っていたが、両者とも非敵対的ベースラインと比較して劣化しており、テキスト忠実度のトレードオフが顕在化した。