[論文レビュー] Lossy Compression with Gaussian Diffusion

Lucas Theis, Tim Salimans+2 more|arXiv (Cornell University)|Jun 17, 2022

Generative Adversarial Networks and Image Synthesis被引用数 20

ひとこと要約

DiffC は無条件拡散モデルとガウスノイズを用いて、エンコーダ変換なしに劣化圧縮のための破損ピクセルを通信し、競争力のあるレート–歪みとリアリズムを実現します。ImageNet 64x64 においていくつかの設定で HiFiC を上回り、漸進的デコードをサポートし、レート–歪み理論とフローに基づく再構成の利点を提供します。

ABSTRACT

We consider a novel lossy compression approach based on unconditional diffusion generative models, which we call DiffC. Unlike modern compression schemes which rely on transform coding and quantization to restrict the transmitted information, DiffC relies on the efficient communication of pixels corrupted by Gaussian noise. We implement a proof of concept and find that it works surprisingly well despite the lack of an encoder transform, outperforming the state-of-the-art generative compression method HiFiC on ImageNet 64x64. DiffC only uses a single model to encode and denoise corrupted pixels at arbitrary bitrates. The approach further provides support for progressive coding, that is, decoding from partial bit streams. We perform a rate-distortion analysis to gain a deeper understanding of its performance, providing analytical results for multivariate Gaussian data as well as theoretic bounds for general distributions. Furthermore, we prove that a flow-based reconstruction achieves a 3 dB gain over ancestral sampling at high bitrates.

研究の動機と目的

• 無条件拡散モデル（DiffC）に基づく新しいロスレスではない圧縮アプローチを探究する。
• 再構成がデータ周辺分布と一致するリアリズム制約を評価する。
• ガウス分布および一般分布のレート–歪み挙動を分析する。
• ImageNet 64x64 で DiffC を最先端の生成系コーデックや従来法と比較する。
• フローに基づく再構成の利点を含む理論的洞察を提供する。

提案手法

• データ Z_t = sqrt(1−σ_t^2) X + σ_t U を用いてデータの破損版を伝送する（U ~ N(0,I)）。
• 拡散モデルを用いて過程を反転させ、Z_t から X を祖先サンプリングまたは確率流ODE（拡散対流再構成）を介して再構成する。
• 逆チャネル符号化を通じて正確なガウスサンプルを符号化し、符号化コストの上限を設定する。
• ガウス分布および一般分布のレート–歪み分析を導出し、ノイズスケジュールと最適化バリアント（DiffC-A*, DiffC-F*）を含む。
• 高ビットレート時に流れベースの再構成が祖先サンプリングより3 dBの利得を示す理論結果を提供する。
• ImageNet 64x64 で DiffC を HiFiC および BPG と比較する拡散モデル実装（VDM）を用いた実験を行い、漸進的符号化と PSNR/FID 指標を含めて比較する。

実験結果

リサーチクエスチョン

• RQ1 エンコーダ変換なしで無条件拡散モデルとガウスノイズが、さまざまなビットレートで現実的な再構成を達成できるか。
• RQ2 完璧なリアリズム制約の下での DiffC のレート–歪み性能は決定論的エンコーダと比較してどうか。
• RQ3 ガウスデータおよび一般データ分布に対する DiffC の理論的レート–歪み特性はどうか、流れベースの再構成は祖先サンプリングと比較してどうか。
• RQ4 DiffC は漸進的符号化能力を提供し、ImageNet 64x64 で HiFiC や BPG などのベースラインと再構成はどのように比較されるか。
• RQ5 拡散ベースのロス圧縮に関する実践的考慮事項と潜在的改善点（例：ノイズスケジュール、流れ対祖先サンプリング）?

主な発見

• DiffC はエンコーダ変換なしの単一の無条件拡散モデルを用いて競争力のあるレート–歪み性能を達成する。
• 流れベースの再構成（確率流ODE）は高ビットレート時に祖先サンプリングより最大3 dBのSNR向上をもたらす。
• DiffC-F（流れベース）は ImageNet 64x64 で HiFiC および BPG に対して知覚指標（FID）と PSNR を大幅に改善する。
• 主成方向に沿ったノイズスケジュールを変更することで、ガウスデータに対して最良の決定論的エンコーダのレート–歪みと同等または近づけることができる。
• 理論的結果として、DiffC-A* は高ビットレートで Gaussian データに対して R(D/2) ベンチマークに近づき、DiffC-F* は高ビットレート領域で DiffC-A* に対して明示的に 3 dB の利得を提供する。