[논문 리뷰] Restoring Vision in Adverse Weather Conditions with Patch-Based Denoising Diffusion Models

Ozan Özdenizci, Robert Legenstein|arXiv (Cornell University)|2022. 07. 29.

Generative Adversarial Networks and Image Synthesis인용 수 13

한 줄 요약

이 논문은 격자 기반의 노이즈 제거 확산 모델을 제안하여 악천후 조건에서 크기 무관 이미지 복원을 수행한다. 이는 겹치는 패치들 간의 노이즈 추정치를 매끄럽게 하여 가이드된 노이즈 제거를 수행한다. 이는 빗방울 제거, 눈 제거, 안개 제거 작업에서 최신 기술 수준(SOTA)의 성능을 달성하며, 실세계 이미지로의 일반화 능력이 뛰어나면서도 12GB 메모리의 단일 GPU에서 추론이 가능하다.

ABSTRACT

Image restoration under adverse weather conditions has been of significant interest for various computer vision applications. Recent successful methods rely on the current progress in deep neural network architectural designs (e.g., with vision transformers). Motivated by the recent progress achieved with state-of-the-art conditional generative models, we present a novel patch-based image restoration algorithm based on denoising diffusion probabilistic models. Our patch-based diffusion modeling approach enables size-agnostic image restoration by using a guided denoising process with smoothed noise estimates across overlapping patches during inference. We empirically evaluate our model on benchmark datasets for image desnowing, combined deraining and dehazing, and raindrop removal. We demonstrate our approach to achieve state-of-the-art performances on both weather-specific and multi-weather image restoration, and experimentally show strong generalization to real-world test images.

연구 동기 및 목표

• 확산 모델을 사용하여 악천후 조건에서 크기 무관 이미지 복원 문제를 해결하기 위해.
• 기본 확산 모델의 아키텍처적 한계를 극복하기 위해 입력 크기가 고정된 처리 제약을 제거하기 위해.
• 통합 생성 프레임워크를 사용하여 다양한 기상 오염(积雪, 비, 안개, 빗방울)을 효율적이고 고품질로 복원할 수 있도록 하기 위해.
• 기존의 합성 벤치마크를 넘어서 실세계 테스트 이미지로의 일반화 능력을 향상시키기 위해.
• 성능을 희생시키지 않은 채 경량 격자 기반 처리를 통해 확산 모델의 계산 요구량을 감소시키기 위해.

제안 방법

• 겹치는 패치들을 독립적으로 처리하면서 공유된 확산 모델 가중치를 사용하는 격자 기반 추론 전략을 적용한다.
• 입력 이미지를 조건으로 하여 확산 샘플링 과정을 가이드하는 노이즈 제거를 수행하며, 겹치는 패치들 간에 노이즈 추정치를 매끄럽게 하여 일관성을 향상시킨다.
• 다양한 기상 오염에 걸쳐 열악한 이미지와 청소년 이미지의 쌍으로 이루어진 데이터를 엔드 투 엔드로 훈련시켜 다중 기상 복원을 가능하게 한다.
• 낮은 패치 해상도에서 경량 백본 네트워크를 사용하여 메모리와 파라미터 요구량을 줄이면서도 고품질 생성을 유지한다.
• 확산 모델의 아키텍처를 입력 크기 제약에서 분리하여, 해상도에 맞는 어텐션 메커니즘을 사용할 수 있도록 한다.
• 겹침 처리를 통해 병합된 노이즈 제거 패치 출력을 활용하여 전체 해상도 이미지를 재구성한다.

실험 결과

연구 질문

• RQ1 확산 모델을 악천후 조건에서 크기 무관 이미지 복원에 적응시킬 수 있는가?
• RQ2 제한된 GPU 메모리 조건에서 실세계 이미지 복원에 실용적인 확산 모델을 어떻게 만들 수 있는가?
• RQ3 기존 엔드 투 엔드 네트워크에 비해 격자 기반 확산 접근법이 실세계 기상 오염에 대해 더 잘 일반화되는가?
• RQ4 하나의 생성 모델이 동시에 여러 종류의 기상 오염(예: 눈, 비, 안개)을 효과적으로 복원할 수 있는가?
• RQ5 겹치는 패치들 간에 노이즈 추정치를 매끄럽게 처리할 경우 복원 품질과 일관성에 어떤 영향을 미치는가?

주요 결과

• 제안된 WeatherDiff 64 모델은 Snow100K-Real 벤치마크에서 NIQE 점수 2.985와 IL-NIQE 22.121을 기록하여 TransWeather( NIQE: 3.161, IL-NIQE: 22.207)를 초월한다.
• RainDS 실세계 빗방울 제거 데이터셋에서 WeatherDiff 64는 NIQE 3.050과 IL-NIQE 19.800을 기록하여 TransWeather( NIQE: 4.005, IL-NIQE: 22.512)를 크게 앞서간다.
• 모델은 12GB 메모리의 단일 GPU에서 전체 이미지 복원을 수행할 수 있어, 기존 확산 모델의 높은 계산 요구량에도 불구하고 실용성을 입증한다.
• 질적 결과로는 눈이나 빗방울에 가려진 복잡한 장면에서, 예를 들어 복원된 나뭇잎과 돌의 세부 구조 복원 능력이 뛰어나다.
• 640×432 해상도 이미지의 추론 시간이 20.52초로, TransWeather의 0.88초보다 현저히 길어 속도와의 상충 관계를 보인다.
• 합성 데이터에서 실세계로의 벤치마크에서의 새로운 테스트 세트에서의 시각적 품질 향상으로 인해, 실세계 이미지로의 일반화 능력이 뛰어나다는 것을 입증한다.