[論文レビュー] Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models

Ozan Özdenizci, Robert Legenstein|arXiv (Cornell University)|Jul 29, 2022

Generative Adversarial Networks and Image Synthesis被引用数 13

ひとこと要約

本論文は、雪、雨、霞の悪天候条件下におけるサイズに依存しない画像修復のためのパッチベースのノイズ除去拡散モデルを提案する。重複するパッチ間で滑らかなノイズ推定値を用いたガイド付きノイズ除去を実装し、レイン、スノーリング、ヒーディング、雨粒除去の各タスクで最先端の性能を達成。12GBメモリ搭載の単一GPUでも推論が可能であり、実世界の画像に対しても優れた汎化性能を示す。

ABSTRACT

Image restoration under adverse weather conditions has been of significant interest for various computer vision applications. Recent successful methods rely on the current progress in deep neural network architectural designs (e.g., with vision transformers). Motivated by the recent progress achieved with state-of-the-art conditional generative models, we present a novel patch-based image restoration algorithm based on denoising diffusion probabilistic models. Our patch-based diffusion modeling approach enables size-agnostic image restoration by using a guided denoising process with smoothed noise estimates across overlapping patches during inference. We empirically evaluate our model on benchmark datasets for image desnowing, combined deraining and dehazing, and raindrop removal. We demonstrate our approach to achieve state-of-the-art performances on both weather-specific and multi-weather image restoration, and experimentally show strong generalization to real-world test images.

研究の動機と目的

• 悪天候条件下におけるサイズに依存しない画像修復を拡散モデルを用いて解決すること。
• 標準的な拡散モデルが固定された入力サイズに制限されるアーキテクチャ的制限を克服すること。
• 統一された生成フレームワークを用いて、雪、雨、霞、雨粒など多様な天候に起因する劣化を効率的かつ高品質に修復すること。
• 合成ベンチマークをはるかに超える実世界のテスト画像への汎化性能を向上させること。
• パッチベース処理を軽量化することで、性能を損なわずに拡散モデルの計算負荷を低減すること。

提案手法

• 重なりをもつパッチを独立して処理するパッチベースの推論戦略を採用し、共有された拡散モデルの重みを用いる。
• 入力画像を条件として拡散サンプリングプロセスをガイドするガイド付きノイズ除去を実装し、重複するパッチ間でノイズ推定値を滑らかにすることで一貫性を向上させる。
• 複数の天候劣化に対応する劣化済み画像とクリア画像のペairedデータを用いて、エンドツーエンドで学習し、マルチウェザーリストアを可能にする。
• 低パッチ解像度で軽量なバックボーンネットワークを用いることで、メモリとパラメータ要件を削減しながらも高品質な生成を維持する。
• 拡散モデルのアーキテクチャを入力サイズの制約から分離し、解像度に特化したアテンション機構を活用可能にする。
• 重なり処理を含めたパッチ出力の集約により、フル解像度の画像を再構築する。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルを悪天候条件下のサイズに依存しない画像修復に適応可能か？
• RQ2 限られたGPUメモリ環境下でも実用的であるように、拡散モデルを実世界の画像修復に応用可能か？
• RQ3 従来のエンドツーエンドネットワークと比較して、パッチベースの拡散アプローチは、未観測の実世界の天候劣化に対してより優れた汎化性能を示すか？
• RQ4 1つの生成モデルが同時に複数の天候劣化（例：雪、雨、霞）を効果的に修復できるか？
• RQ5 重なりをもつパッチ間でノイズ推定値を滑らかにすることにより、修復品質と一貫性にどのような影響を与えるか？

主な発見

• 提案された WeatherDiff 64 モデルは、Snow100K-Realベンチマークで NIQE スコア 2.985、IL-NIQE 22.121 を達成し、TransWeather（NIQE: 3.161、IL-NIQE: 22.207）を上回った。
• RainDS 実世界の雨粒除去データセットにおいて、WeatherDiff 64 は NIQE 3.050、IL-NIQE 19.800 を達成し、TransWeather（NIQE: 4.005、IL-NIQE: 22.512）を顕著に上回った。
• 12GBメモリ搭載の単一GPUでもフル画像の修復が可能であり、標準的な拡散モデルの高い計算負荷を鑑みても実用的であることを示した。
• 定量的結果では、雪や雨粒に覆われた葉や石の複雑なシーンにおいて、優れた詳細回復が確認された。
• 640×432解像度の画像に対する推論時間は20.52秒であり、TransWeather（0.88秒）と比較して著しく遅いが、速度と性能のトレードオフが顕在化している。
• 合成データから実世界へのベンチマークで未観測のテストセットを用いた結果、実世界への汎化性能が優れていることが実証された。