[논문 리뷰] DC-ShadowNet: Single-Image Hard and Soft Shadow Removal Using Unsupervised Domain-Classifier Guided Network

Yeying Jin, Aashish Sharma외 1명|arXiv (Cornell University)|2022. 07. 21.

Image Enhancement Techniques인용 수 9

한 줄 요약

이 논문은 도메인 분류기, 물리기반의 색채도, 그림자 내성 특징, 경계 부드러움 손실을 통합하여 하드 그림자와 소프트 그림자를 효과적으로 제거하는 비지도 학습 기반의 딥러닝 방법인 DC-ShadowNet을 제안한다. 이 방법은 정량적 및 정성적 평가에서 최신 기술을 초월하며, 테스트 시점 학습을 통해 성능 향상을 추가로 달성할 수 있다.

ABSTRACT

Shadow removal from a single image is generally still an open problem. Most existing learning-based methods use supervised learning and require a large number of paired images (shadow and corresponding non-shadow images) for training. A recent unsupervised method, Mask-ShadowGAN~\cite{Hu19}, addresses this limitation. However, it requires a binary mask to represent shadow regions, making it inapplicable to soft shadows. To address the problem, in this paper, we propose an unsupervised domain-classifier guided shadow removal network, DC-ShadowNet. Specifically, we propose to integrate a shadow/shadow-free domain classifier into a generator and its discriminator, enabling them to focus on shadow regions. To train our network, we introduce novel losses based on physics-based shadow-free chromaticity, shadow-robust perceptual features, and boundary smoothness. Moreover, we show that our unsupervised network can be used for test-time training that further improves the results. Our experiments show that all these novel components allow our method to handle soft shadows, and also to perform better on hard shadows both quantitatively and qualitatively than the existing state-of-the-art shadow removal methods. Our code is available at: \url{https://github.com/jinyeying/DC-ShadowNet-Hard-and-Soft-Shadow-Removal}.

연구 동기 및 목표

• 그림자와 비그림자 이미지의 대량 쌍이 필요한 기존 지도 학습 기반 그림자 제거 방법의 한계를 해결하기 위해.
• 이중 그림자 마스크에 의존하지 않고 하드 및 소프트 그림자를 모두 처리할 수 있는 비지도 방법을 개발하기 위해.
• 회색 또는 흰색 표면과 같은 도전적인 표면에서 그림자 제거의 강건성을 향상시키기 위해.
• 미리 알 수 없는 테스트 이미지를 사용하여 비지도 학습 환경에서 성능을 향상시키기 위해 테스트 시점 학습을 가능하게 하기 위해.
• 생성모형(GAN) 프레임워크에 도메인 분류기를 통합하여 생성자와 판별자가 그림자 영역에 집중하도록 유도하기 위해.

제안 방법

• 생성자와 판별자 양쪽에 그림자/그림자 없는 도메인 분류기를 통합하여 학습을 그림자 영역에 집중시킨다.
• 로그-색채도 공간에서 엔트로피 최소화 원리로부터 유도된 물리기반의 그림자 없는 색채도 손실을 적용하여 색채 일관성을 강제한다.
• 미리 학습된 VGG-16 네트워크에서 유도한 그림자 내성 인식 특징을 사용하여 그림자 아래에서도 구조적 세부 정보를 유지한다.
• 그림자 경계에서 자연스러운 전이를 보장하기 위해 경계 부드러움 손실을 적용한다.
• 지표가 없는 지도 학습을 위해 색채도, 특징, 부드러움 손실과 같은 비지도 손실을 활용한다.
• 같은 비지도 손실을 사용하여 테스트 시점 학습을 지원하여 미리 보지 않은 이미지에서 결과를 추가로 개선한다.

실험 결과

연구 질문

• RQ1 쌍이 없는 훈련 데이터가 필요 없이 비지도 GAN 기반 방법이 하드 그림자와 소프트 그림자를 효과적으로 제거할 수 있는가?
• RQ2 지표가 없을 때 도메인 분류기를 통합하면 그림자 영역 집중과 제거 품질에 어떤 영향을 미치는가?
• RQ3 물리기반 색채도 손실과 그림자 내성 특징이 GRAY 또는 WHITe 표면과 같은 도전적인 표면에서 성능 향상에 얼마나 기여하는가?
• RQ4 테스트 시점 학습이 비지도 환경에서 성능 향상에 추가로 기여할 수 있는가?
• RQ5 각 개별 구성요소(손실 및 도메인 분류기)가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• SRD 데이터셋에서 DC-ShadowNet은 가장 낮은 RMSE(4.66)와 가장 높은 PSNR(31.31)를 기록하여 최신 기술을 초월한다.
• LRSS 데이터셋에서는 RMSE 3.48, PSNR 31.01을 기록했으며, 테스트 시점 학습을 통해 RMSE 3.36, PSNR 31.31로 향상된다.
• 제거 실험 결과, 제안된 손실이나 구성요소를 제거할 경우 성능 저하가 심각하게 발생하여 그 필요성을 입증한다.
• 이중 마스크에 의존하는 Mask-ShadowGAN이 실패하는 소프트 그림자 영역에서도 성공적으로 그림자를 제거한다.
• 정성적 결과에서는 아티팩트가 적고, 특히 그림자 경계 및 회색 영역에서 표면 복원 품질이 향상됨을 확인할 수 있다.
• 테스트 시점 학습은 PSNR에서 0.13, RMSE에서 0.12 향상시켜 자기 보정의 효과를 입증한다.