[논문 리뷰] ADIR: Adaptive Diffusion for Image Reconstruction

Shady Abu-Hussein, Tom Tirer외 1명|arXiv (Cornell University)|2022. 12. 06.

Advanced Neuroimaging Techniques and Applications인용 수 7

한 줄 요약

ADIR는 사전 훈련된 노이즈 제거 확산 모델을 특정 입력 조건에 맞게 적응시켜 이미지 복원을 향상시키는 새로운 적응형 확산 프레임워크를 제안한다. 이는 시각-언어 모델을 통해 검색한 맥락적으로 관련성이 높은 '가장 가까운 이웃' 이미지 또는 열악한 이미지를 사용하여 사전 훈련된 모델을 조정함으로써 구현된다. 이 방법은 초해상도, 흐림 제거, 텍스트 유도 편집 작업에서 기존의 확산 모델보다 더 선명하고 세밀한 결과를 만들어내어 성능을 크게 향상시킨다.

ABSTRACT

Denoising diffusion models have recently achieved remarkable success in image generation, capturing rich information about natural image statistics. This makes them highly promising for image reconstruction, where the goal is to recover a clean image from a degraded observation. In this work, we introduce a conditional sampling framework that leverages the powerful priors learned by diffusion models while enforcing consistency with the available measurements. To further adapt pre-trained diffusion models to the specific degradation at hand, we propose a novel fine-tuning strategy. In particular, we employ LoRA-based adaptation using images that are semantically and visually similar to the degraded input, efficiently retrieved from a large and diverse dataset via an off-the-shelf vision-language model. We evaluate our approach on two leading publicly available diffusion models--Stable Diffusion and Guided Diffusion--and demonstrate that our method, termed Adaptive Diffusion for Image Reconstruction (ADIR), yields substantial improvements across a range of image reconstruction tasks.

연구 동기 및 목표

• 사전 훈련된 확산 모델을 특정 입력 조건에 맞게 적응시켜 이미지 복원을 향상시키는 것.
• 입력에 따라 달라지는 열악한 특성에 고려하지 않는 고정된 사전 확률를 가진 확산 모델의 한계를 해결하는 것.
• 확산 모델의 사전 지식과 관측된 데이터의 충실도 사이를 균형 잡는 조건부 샘플링 기법을 개발하는 것.
• 사전 훈련 과정에서 볼 수 없었던 해상도와 복잡한 열악한 패턴에 효과적으로 확산 모델을 적응시키는 것.
• 초해상도, 흐림 제거, 텍스트 기반 이미지 편집 작업에서 최신 기술 수준의 성능을 입증하는 것.

제안 방법

• 사전 훈련된 확산 모델이 학습한 사전 확률와 관측된 데이터 제약 조건을 통합하는 조건부 샘플링 기법을 제안한다.
• 두 가지 적응 전략을 도입한다: 하나는 열악한 입력 이미지만을 사용하는 것이고, 다른 하나는 시각-언어 모델을 통해 검색한 '가장 가까운 이웃' 이미지를 사용하여 맥락의 관련성을 향상시키는 것이다.
• 소량의 관련 이미지를 사용하여 노이즈 제거 네트워크를 미세 조정하는 새로운 적응 메커니즘을 도입하여 사전 확률를 입력의 특정 특성과 일치시킨다.
• 분류자 없는 가이던스와 잠재 공간 최적화를 활용하여 확산 과정을 열악한 관측치와 적응된 사전 확률 모두에 조건화한다.
• Stable Diffusion 및 Guided Diffusion 모델 모두에 이 방법을 적용하여 사전 훈련 중에 다루지 않은 해상화에도 적응할 수 있도록 한다.
• 사전 구매 가능한 시각-언어 모델(예: CLIP)을 활용하여 효과적인 적응을 위한 의미적이고 시각적으로 유사한 이미지를 검색한다.

실험 결과

연구 질문

• RQ1 전체 재학습 없이도 사전 훈련된 확산 모델을 특정 이미지 복원 작업에 효과적으로 적응시킬 수 있는가?
• RQ2 열악한 입력 이미지 외에 맥락적으로 관련성이 높은 '가장 가까운 이웃' 이미지를 사용할 경우, 단지 열악한 입력 이미지만 사용하는 것보다 적응 성능이 어떻게 향상되는가?
• RQ3 적응형 확산이 초해상도, 흐림 제거, 텍스트 기반 편집 작업에서 복원 품질을 얼마나 향상시킬 수 있는가?
• RQ4 적응 메커니즘이 사전 훈련 데이터에 포함되지 않은 해상도에 일반화되는가?
• RQ5 인지적 품질과 세부 정보 유지 측면에서 기존의 확산 기반 복원 방법과 비교해 본다면, 제안된 방법은 어떻게 성능을 내는가?

주요 결과

• ADIR는 초해상도 결과를 크게 향상시켜, 특히 가장 가까운 이웃 적응을 사용할 경우 실제 이미지보다 더 선명한 세부 정보를 생성한다.
• 흐림 제거 작업에서는 기존의 기준 확산 모델보다 노이즈에 더 강건하고 미세한 질감을 더 잘 유지한다.
• 텍스트 기반 편집 작업에서는 Stable Diffusion 및 GLIDE보다 더 정확하고 아티팩트가 없는 생성 결과를 만들어내며, 특히 머리카락 색상 수정과 같은 복잡한 편집 시나리오에서 뛰어난 성능을 보인다.
• 모든 작업과 평가 지표에서 가장 가까운 이웃을 사용한 적응이 열악한 입력 이미지만 사용한 경우보다 일관되게 뛰어난 성능을 보였다.
• 사전 훈련된 모델이 256×256 해상도에서만 훈련된 경우에도 이 방법을 통해 더 높은 해상도(예: 512×512)로의 효과적 일반화가 가능했다.
• KonIQ-MUSIQ 및 AVA-MUSIQ를 활용한 정량적 평가에서, 여러 벤치마크에서 기존의 기준 확산 모델보다 일관되게 향상된 성능을 보였다.