[論文レビュー] DriftRec: Adapting diffusion models to blind JPEG restoration

Simon Welker, Henry N. Chapman+1 more|arXiv (Cornell University)|Nov 12, 2022

Advanced Neuroimaging Techniques and Applications参考文献 51被引用数 5

ひとこと要約

DriftRecは、元の画像とJPEG圧縮画像の分布に整合するように前向き確率微分方程式（SDE）を変更することにより、盲目的JPEG復元のためのスコアベース拡散モデルの新規な適合手法を提案する。従来の手法とは異なり、品質因子や圧縮プロセスの知識が不要であり、ペアド清浄・汚染画像データのみを必要とし、品質因子が低い場合（QF ≤ 30）でも優れた知覚的品質と分布モデリングの忠実性を達成する。

ABSTRACT

In this work, we utilize the high-fidelity generation abilities of diffusion models to solve blind JPEG restoration at high compression levels. We propose an elegant modification of the forward stochastic differential equation of diffusion models to adapt them to this restoration task and name our method DriftRec. Comparing DriftRec against an $L_2$ regression baseline with the same network architecture and state-of-the-art techniques for JPEG restoration, we show that our approach can escape the tendency of other methods to generate blurry images, and recovers the distribution of clean images significantly more faithfully. For this, only a dataset of clean/corrupted image pairs and no knowledge about the corruption operation is required, enabling wider applicability to other restoration tasks. In contrast to other conditional and unconditional diffusion models, we utilize the idea that the distributions of clean and corrupted images are much closer to each other than each is to the usual Gaussian prior of the reverse process in diffusion models. Our approach therefore requires only low levels of added noise and needs comparatively few sampling steps even without further optimizations. We show that DriftRec naturally generalizes to realistic and difficult scenarios such as unaligned double JPEG compression and blind restoration of JPEGs found online, without having encountered such examples during training.

研究の動機と目的

• 低品質因子（QF ≤ 30）における盲目的JPEG復元の課題に取り組むこと。この場合、従来の手法はしばしばぼやけた出力を生成する。
• JPEGの汚染プロセス（品質因子や量子化行列を含む）の事前知識が不要な拡散モデルの開発を目的とする。
• 二重JPEG圧縮や処理履歴が不明なオンラインJPEGなど、複雑な現実世界のシナリオへの一般化を可能にすること。
• 既存の拡散ベースおよび非拡散ベースのベースラインと比較して、知覚的品質と分布忠実度を向上させること。
• 修正されたSDE形式が、拡散フレームワーク内での非ガウス的・非線形的JPEG圧縮を効果的にモデル化できることを示すこと。

提案手法

• 拡散モデルの前向きSDEを、ガウス事前分布を仮定するのではなく、綺麗画像とJPEG圧縮画像の間の分布的近接性を反映するように、ドリフト項を修正する。
• トレーニング時および推論時においてもJPEGエンコードプロセスの知識が不要な、(綺麗, JPEG圧縮済み)画像ペアデータセットを用いた教師あり学習を行う。
• 逆過程を圧縮画像から綺麗画像に学習するため、スコアベース生成モデル（SGM）とノイズ除去スコアマッチング（DSM）目的関数を採用する。
• 100ステップのEuler-Maruyamaサンプラーを用いて再構成を生成し、画像分布の段階的改善を可能にする。
• 再構成画像の各RGBチャネルの平均を入力JPEGと一致させるためのポストプロセッシング色補正ステップを導入し、色ずれを低減する。
• 連続的SDE形式を活用することで、非標準的なSDEドリフト項であっても、柔軟なサンプリング戦略や将来の高速サンプリング技術との統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 JPEG品質因子や量子化行列の知識がなくても、拡散モデルを盲的なJPEG復元に効果的に適合させることができるか？
• RQ2 提案手法のSDE修正は、標準的な拡散モデルやL2回帰ベースラインと比較して、分布モデリングおよび知覚的品質をどのように向上させるか？
• RQ3 DriftRecは、二重圧縮が不整合な場合や処理履歴が不明なオンラインJPEGなど、現実世界の複雑なJPEGアーチファクトに対してどの程度一般化できるか？
• RQ4 複数回のサンプリングや平均化を用いる場合、知覚的品質と歪度のトレードオフはどのように変化するか？
• RQ5 DriftRecの実行効率は非拡散ベースラインと比較してどうか？最近のサンプリング高速化技術がその差を埋められるか？

主な発見

• DriftRecは、L2回帰ベースラインおよび最先端手法と比較して、ぼやけた出力を生じやすい他のアプローチとは異なり、顕著に高い知覚的画像品質を達成する。
• 低品質因子（QF ≤ 30）であっても、FID、KID、LPIPSスコアの優れた結果により、綺麗画像の分布を忠実に回復することが裏付けられている。
• DriftRecは、不整合な二重JPEG圧縮や処理履歴が不明なオンラインJPEGに対しても、効果的に一般化し、現実世界の盲目的復元シナリオにおけるロバストネスを示している。
• 非反復的手法（例：QGAC, FBCNN）と比較して、DNN評価回数が20〜100倍多いものの、性能は競争力があり、将来の高速サンプリング技術の導入でさらに向上が見込まれる。
• DriftRecからの複数サンプルの平均化により、知覚的品質と歪度の間の制御可能なトレードオフが実現可能であり、再構成の目的に応じた柔軟性を提供する。
• 比較手法の中で最もパラメータ数が少なく、L2回帰ベースラインからのわずかなアーキテクチャ変更で実現されており、モデル設計の高い効率性を示している。