[論文レビュー] JPEG Artifact Correction using Denoising Diffusion Restoration Models

Bahjat Kawar, Jiaming Song+2 more|arXiv (Cornell University)|Sep 23, 2022

Generative Adversarial Networks and Image Synthesis被引用数 16

ひとこと要約

本稿では、非線形演算子（JPEG符号化/復号化など）に一般化された疑似逆演算子の概念を用いて、再訓練を必要とせず、品質係数に依存しないJPEGアーティファクト補正のための問題に依存しない手法を提案する。この手法は、微調整なしで、劣化度の低いJPEG画像においても特化型モデルを上回り、量子化解除にも一般化する。

ABSTRACT

Diffusion models can be used as learned priors for solving various inverse problems. However, most existing approaches are restricted to linear inverse problems, limiting their applicability to more general cases. In this paper, we build upon Denoising Diffusion Restoration Models (DDRM) and propose a method for solving some non-linear inverse problems. We leverage the pseudo-inverse operator used in DDRM and generalize this concept for other measurement operators, which allows us to use pre-trained unconditional diffusion models for applications such as JPEG artifact correction. We empirically demonstrate the effectiveness of our approach across various quality factors, attaining performance levels that are on par with state-of-the-art methods trained specifically for the JPEG restoration task.

研究の動機と目的

• 画像修復における既存の拡散モデルが線形逆問題に制限されているという限界を解決すること。
• JPEGのような非線形劣化モデルに対して、事前学習済みの非条件付き拡散モデルを用いて問題に依存しない画像修復を可能にすること。
• 特に劣化度の低いJPEG画像で特化型モデルが失敗する状況において、品質係数の範囲にわたる一般化を向上させること。
• JPEG符号化および復号化のような非線形測定演算子に対して、疑似逆演算子の概念を一般化することで、DDRMを線形演算子を超えて拡張すること。
• 本手法の有効性を、タスク固有の微調整なしに、JPEGアーティファクト補正および画像の量子化解除の両方で示すこと。

提案手法

• JPEG符号化と復号化を一般化された逆演算子ペアとして扱い、DDRMにおける疑似逆演算子を非線形測定演算子に一般化する。
• 線形演算子とその疑似逆演算子をJPEG符号化および復号化関数に置き換えることで、DDRMの更新則を適応させる。
• ノイズ除去U-Netを用いた事前学習済みの非条件付き拡散モデルを用い、ノイズの付加された初期化から反復的に再構成を改善する。
• JPEG復号された測定値に基づく再構成項と、ノイズ除去予測を組み合わせたハイブリッド更新則を適用する。
• 再構成の忠実度を向上させるために、中間の拡散ステップ（t=300）でノイズを付加したJPEG画像を初期化に用いる。
• 各入力に対して8つの独立したサンプルを平均化することで、結果の安定性と定量的指標の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 DDRMにおける疑似逆演算子の概念を、JPEGアーティファクト補正のような非線形逆問題に一般化できるか？
• RQ2 事前学習済みの非条件付き拡散モデルを用いて、微調整なしに広範な品質係数のJPEG圧縮画像を復元できるか？
• RQ3 低品質JPEG（例：QF=1–10）において、本手法は、JPEG修復に特化して訓練された最先端手法と比較してどのように性能を発揮するか？
• RQ4 同じフレームワークを、画像の量子化解除のような他の非線形逆問題に応用できるか？
• RQ5 データが少ない、または分布外の設定において、本手法はタスク固有のモデルよりも一般化性能が優れているか？

主な発見

• 本手法は、JPEG修復に特化して訓練された最近の最先端のGANベース手法（QGAC）と同等のPSNRおよびSSIM性能を達成する。
• 単純なJPEG復号よりも顕著に優れており、QF=1–10のような低品質要因に対しても効果的に一般化され、QGACは学習データの不足により性能を発揮できない。
• 本手法は、再訓練なしに画像の量子化解除にもスムーズに一般化され、JPEG修復を超えた応用可能性を示している。
• 平均化されたサンプリング（Ours (A)）により再構成品質が向上し、最初のサンプルよりも平均出力が優れた指標を達成する。
• レート・リソース曲線から、本手法はすべての品質係数で高い性能を維持しており、ロバストネスと一貫性が示されている。
• 本手法により、タスク固有の微調整やハイパーパramータチューニングなしに、高精度な画像修復が可能になる。