[논문 리뷰] ShadowDiffusion: When Degradation Prior Meets Diffusion Model for Shadow Removal

Lanqing Guo, Chong Wang외 5명|arXiv (Cornell University)|2022. 12. 09.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

ShadowDiffusion는 동적 마스크 인식 확산 모델(DMDM)을 통해 열악한 조건에서의 고장을 모델링하고 생성적 사전 지식을 통합함으로써, 영상 복원의 기초가 되는 확산 기반 프레임워크를 제안한다. 이는 유한한 샘플링 전략을 통해 그림자 없는 영상과 그림자 마스크를 동시에 개선하며, SRD 데이터셋에서 34.73dB의 PSNR를 달성하여 기존 방법보다 뚜렷한 향상 효과를 보였다.

ABSTRACT

Recent deep learning methods have achieved promising results in image shadow removal. However, their restored images still suffer from unsatisfactory boundary artifacts, due to the lack of degradation prior embedding and the deficiency in modeling capacity. Our work addresses these issues by proposing a unified diffusion framework that integrates both the image and degradation priors for highly effective shadow removal. In detail, we first propose a shadow degradation model, which inspires us to build a novel unrolling diffusion model, dubbed ShandowDiffusion. It remarkably improves the model's capacity in shadow removal via progressively refining the desired output with both degradation prior and diffusive generative prior, which by nature can serve as a new strong baseline for image restoration. Furthermore, ShadowDiffusion progressively refines the estimated shadow mask as an auxiliary task of the diffusion generator, which leads to more accurate and robust shadow-free image generation. We conduct extensive experiments on three popular public datasets, including ISTD, ISTD+, and SRD, to validate our method's effectiveness. Compared to the state-of-the-art methods, our model achieves a significant improvement in terms of PSNR, increasing from 31.69dB to 34.73dB over SRD dataset.

연구 동기 및 목표

• 딥 러닝 기반 그림자 제거에서 경계 아티팩트와 잔여 그림자를 해결하기 위해 물리적 열악한 조건 사전 지식을 통합한다.
• 정확하지 않거나 사전 추정된 그림자 마스크에 의존하는 기존 방법의 한계를 극복한다.
• 그림자 없는 영상 생성과 그림자 마스크 개선을 동시에 최적화하는 통합된 확산 프레임워크를 개발한다.
• 확산 모델이 노이즈 제거를 넘어서 복잡한 열악한 조건 패턴을 가진 영상 복원과 같은 저수준 시각 작업에서의 잠재력을 탐색한다.

제안 방법

• 실제 환경 조명 복잡성을 반영하기 위해 그림자 마스크와 강도 지도로 열악한 조건을 분해하는 공간적으로 변화하는 그림자 열악한 조건 모델을 제안한다.
• 입력 그림자 영상과 예측 마스크에 조건을 두어 이미지 생성을 수행하는 동적 마스크 인식 확산 모델(DMDM)을 도입함으로써 이미지 및 마스크의 동시 최적화를 가능하게 한다.
• 열악한 조건 사전 지식을 역 노이즈 제거 과정에 명시적으로 통합함으로써 안정성과 수렴성을 향상시키는 유한한 샘플링 전략을 설계한다.
• 확산 생성기 내부에서 마스크 개선을 보조 작업으로 간주하여, 영상 복원 과정에서 마스크를 점진적으로 개선함으로써 경계 아티팩트를 감소시킨다.
• 학습 중 마스크-이미지 간의 관계를 학습할 수 있도록 확산 과정에 4채널 조건 입력(그림자 영상 + 마스크)을 도입한다.
• 마스크 조건을 제거함으로써 낮은 조명 강화 및 노출 보정에 프레임워크를 적응시켜, 이들 작업을 전역적 열악한 조건 사례로 간주한다.

실험 결과

연구 질문

• RQ1 물리적 사전 지식과 결합된 확산 모델이 실제 그림자에 대한 복잡하고 공간적으로 변화하는 열악한 조건을 효과적으로 모델링할 수 있는가?
• RQ2 보조 작업으로서의 마스크 개선 통합이 그림자 제거의 강건성과 품질에 어떤 영향을 미치는가?
• RQ3 열악한 조건 사전 지식을 확산 샘플링 과정에 유한화함으로써 수렴성 향상과 아티팩트 감소에 어느 정도 기여하는가?
• RQ4 제안된 프레임워크는 그림자 제거를 넘어서 낮은 조도 강화와 같은 다른 영상 강화 작업으로 일반화될 수 있는가?

주요 결과

• ShadowDiffusion는 SRD 데이터셋에서 34.73dB의 PSNR를 달성하여 기존 SOTA의 31.69dB보다 뚜렷한 향상 효과를 보였다.
• 유한한 샘플링 전략을 포함한 완전한 모델은 DMDM 전용 버전보다 SRD 데이터셋에서 PSNR가 0.21dB 높게 나타나, 유한한 전략의 효과성을 입증하였다.
• 유한한 프레임워크는 샘플링 안정성과 수렴 속도를 향상시켜 최종 생성물의 아티팩트와 불안정성을 감소시켰다.
• 명시적인 마스크 개선 없이도 DMDM 전용 버전은 기존의 확산 모델(SR3 및 WeatherDiffusion)을 초월하여 성능을 냈으며, 제안된 조건 설정 메커니즘의 강력함을 시사한다.
• 낮은 조도 강화 및 노출 보정 작업으로도 일반화 성능이 뛰어나 각각 27.36dB 및 22.33dB의 SOTA 성능을 달성하였다.
• 시각적 결과에서는 BMNet 및 Fu et al.과 같은 경쟁 방법 대비 더 자연스럽고 아티팩트가 없는 출력을 생성하며, 더 선명한 경계를 확보하였다.