[論文レビュー] A Residual Diffusion Model for High Perceptual Quality Codec Augmentation

Noor Fathima Goose, Jens Petersen+3 more|arXiv (Cornell University)|Jan 13, 2023

Advanced Image Processing Techniques被引用数 11

ひとこと要約

DIRAC は基底の画像コーデックを受信機側の拡散残差モデルで補強し、レート-歪み-知覚のトレードオフを滑らかに横断する。これにより、競争力の忠実度と高い知覚品質を実現し、非常に高速なサンプリング（最少20ステップ程度）を可能にする。

ABSTRACT

Diffusion probabilistic models have recently achieved remarkable success in generating high quality image and video data. In this work, we build on this class of generative models and introduce a method for lossy compression of high resolution images. The resulting codec, which we call DIffuson-based Residual Augmentation Codec (DIRAC), is the first neural codec to allow smooth traversal of the rate-distortion-perception tradeoff at test time, while obtaining competitive performance with GAN-based methods in perceptual quality. Furthermore, while sampling from diffusion probabilistic models is notoriously expensive, we show that in the compression setting the number of steps can be drastically reduced.

研究の動機と目的

• 画像圧縮におけるレート-歪み-知覚トレードオフの動的な制御を動機付け、可能にする。
• 知覚品質を高めつつ忠実度を維持するために拡散モデルを活用する。
• ニューロン類似のコーデックと従来のコーデックの双方で機能する受信機側の補強を提供する。
• 高解像度画像の実用的なレベルまで拡散サンプリングコストを削減する。

提案手法

• 基底画像コーデックと、x - x̃（再構成残差）を予測する残差拡散モデルを組み合わせる。
• 拡散モデルを基底再構成に条件付けして残差を予測するように訓練し、残差予測誤差とLPIPSベースの知覚歪みを含む損失を最適化する。
• DDIMスタイルのサンプリングを採用して、柔軟でステップ数を減らした生成を可能にし、最大100ステップ以下（例：20）で遅開始サンプリングを実現する。
• レート依存のしきい値付けを導入して、中間的な残差予測をレート固有の残差分布に応じてクリップする。
• 知覚と歪みのトレードオフを割引することなく、任意の時点で拡散過程を停止できるようにしてテスト時の制御を可能にする。
• 神経ベースのコーデックを用いた生成圧縮と、従来コーデック（JPEG, VTM）の強化の両方を評価する。

Figure 1 : Base reconstruction (left) and the DIRAC-enhanced version (right). Our model combines a base codec with a receiver-side enhancement model, and can smoothly interpolate between near-state-of-the-art fidelity (PSNR, higher better) and near-state-of-the-art perceptual quality (FID, lower bet

実験結果

リサーチクエスチョン

• RQ1 テスト時に受信機側の拡散ベースのエンハンサーは、レート-歪み-知覚の制御を可能にする navigational control を提供できるか。
• RQ2 残差ベースの拡散モデリングは、PSNR と知覚指標（FID/256、LPIPS）に関して、エンドツーエンドの知覚最適化と比較してどうか。
• RQ3 どのサンプリング戦略（ステップ数、遅開始、レート依存クリッピング）が、品質を損なうことなく実用的な速度向上を生むか。
• RQ4 JPEG や VTM のような従来コーデックの知覚品質を改善しつつ忠実度を損なわないか。
• RQ5 DIRAC を用いた場合、データセット間でのトレードオフ挙動（例：CLIC2020、Kodak、ImageNet-val1k）はどう変化するか。

主な発見

• DIRAC は高忠実度と高い知覚品質の間を滑らかに横断し、同等の忠実度で最先端の知覚ベースのベースラインを超えるか同等に達成する。
• DIRAC-100（100拡散ステップ）は HiFiC に対して知覚品質レベルで競争力を持ちつつ、検証データセットでPSNRを改善。
• JPEG に対して特に、DIRAC はPSNR の損失なしでFID/256 を最大78%改善できる（強化前の JPEG と比較）。
• DIRAC-1（単一サンプリングステップ）はベースコーデックの忠実度（PSNR）に近づきつつ知覚改善を提供し、知覚指標でいくつかのエンハンスメントベースラインを上回る。
• サンプリング効率の改善：極端な遅開始サンプリング（t が約20で開始）により、性能の損失ほとんどなしで約80% のステップ削減が可能；レート依存のしきい値付けによりPSNR がさらに向上し、FID/256 には影響を与えない。
• DIRAC は高解像度データ上で従来コーデック（VTM、JPEG）も強化し、知覚利得（FID/256）を substantial に得られる一方、PSNR の損失は抑制されるかゼロレベル。
• このアプローチはテスト時の歪み-知覚トレードオフの制御を可能にし、単一モデルがさまざまな動作点をサポートする。

Figure 2 : Overview of our architecture. Given an input image ${\mathbf{x}}$ and target rate factor $\lambda_{rate}$ , we obtain a base codec reconstruction $\mathbf{\tilde{x}}$ . Our DDPM is conditioned on $\mathbf{\tilde{x}}$ and learns to model a reverse diffusion process that generates residuals