[論文レビュー] ADIR: Adaptive Diffusion for Image Reconstruction

Shady Abu-Hussein, Tom Tirer+1 more|arXiv (Cornell University)|Dec 6, 2022

Advanced Neuroimaging Techniques and Applications被引用数 7

ひとこと要約

ADIRは、視覚言語モデルを介して取得された劣化画像または文脈的に関連する「最近傍」画像を用いて、特定の入力条件に適応させる、画像再構成のための新規な適応型拡散フレームワークを提案する。この手法は、事前学習済みのノイズ除去拡散モデルを、特定の入力条件に適応させることで、超解像、ぼかし除去、テキスト誘導型編集の性能を顕著に向上させ、ベースラインの拡散モデルよりもシャープで詳細な結果を生成する。

ABSTRACT

Denoising diffusion models have recently achieved remarkable success in image generation, capturing rich information about natural image statistics. This makes them highly promising for image reconstruction, where the goal is to recover a clean image from a degraded observation. In this work, we introduce a conditional sampling framework that leverages the powerful priors learned by diffusion models while enforcing consistency with the available measurements. To further adapt pre-trained diffusion models to the specific degradation at hand, we propose a novel fine-tuning strategy. In particular, we employ LoRA-based adaptation using images that are semantically and visually similar to the degraded input, efficiently retrieved from a large and diverse dataset via an off-the-shelf vision-language model. We evaluate our approach on two leading publicly available diffusion models--Stable Diffusion and Guided Diffusion--and demonstrate that our method, termed Adaptive Diffusion for Image Reconstruction (ADIR), yields substantial improvements across a range of image reconstruction tasks.

研究の動機と目的

• 特定の入力条件に適応させることで、事前学習済みの拡散モデルを用いて画像再構成を改善すること。
• 入力に特有の劣化特性を考慮しない固定事前分布を有する拡散モデルの限界を解消すること。
• 拡散モデルからの事前知識と観測データの整合性を両立させる条件付きサンプリング方式を開発すること。
• 事前学習時に見られなかった解像度や複雑な劣化パターンに対しても、拡散モデルの適応を効果的に行えるようにすること。
• 超解像、ぼかし除去、テキスト誘導型画像編集タスクにおいて、最先端の性能を示すこと。

提案手法

• 事前学習済みの拡散モデルが学習した事前分布と観測データの制約を統合する条件付きサンプリング方式を提案する。
• 2つの適応戦略を導入する：1つは劣化画像のみを用いる方法、もう1つは視覚言語モデルを介して取得した「最近傍」画像を用いる方法で、文脈の関連性を向上させる。
• 関連する画像の少量のセットを用いて、ノイズ除去ネットワークを微調整する新規な適応メカニズムを採用し、事前分布を入力の特性に一致させる。
• 分類器フリー・ガイドランスと潜在空間最適化を用いて、劣化観測と適応済み事前分布の両方に条件づけられた拡散プロセスを実現する。
• Stable DiffusionおよびGuided Diffusionモデルの両方へ適用し、事前学習時に扱わなかった解像度への適応を可能にする。
• オフザシェルの視覚言語モデル（例：CLIP）を活用し、効果的な適応のための意味的および視覚的に類似した画像を取得する。

実験結果

リサーチクエスチョン

• RQ1 完全な再トレーニングなしに、事前学習済みの拡散モデルを特定の画像再構成タスクに効果的に適応させることは可能か？
• RQ2 劣化画像のみではなく、文脈的に関連する「最近傍」画像を用いることで、適応性能がどのように向上するか？
• RQ3 適応型拡散は、超解像、ぼかし除去、テキスト誘導型編集において、再構成品質をどの程度向上させ得るか？
• RQ4 適応メカニズムは、事前学習データに含まれない解像度に対しても一般化可能か？
• RQ5 主観的品質と詳細の保持という観点から、既存の拡散ベース再構成手法と比較して、本手法はどのように差をつけるか？

主な発見

• ADIRは超解像結果を顕著に改善し、特に最近傍適応を用いる場合、真値を上回るシャープなディテールを生成する。
• ぼかし除去タスクにおいて、ベースラインの拡散モデルと比較して、ノイズに対してより高いロバスト性と繊細なテクスチャの保持を達成する。
• テキスト誘導型編集において、Stable Diffusion や GLIDE よりも正確でアーチファクトのない生成を実現し、特に髪の色の修正のような複雑な編集シナリオで顕著に優れる。
• 全タスクおよび全指標において、最近傍画像を用いた適応が、劣化画像のみを用いた適応よりも一貫して優れている。
• 事前学習時に256×256解像度の画像しか扱わなかったモデルであっても、512×512などの高解像度への一般化が効果的に可能である。
• KonIQ-MUSIQおよびAVA-MUSIQを用いた定量的評価では、複数のベンチマークでベースラインの拡散モデルを一貫して上回る結果が得られた。