[논문 리뷰] Self-Supervised Shadow Removal

Florin-Alexandru Vasluianu, Andrés Romero외 2명|arXiv (Cornell University)|2020. 10. 22.

Image Enhancement Techniques참고 문헌 38인용 수 8

한 줄 요약

이 논문은 쌍체 데이터가 필요 없이 사이클 일致성과 GAN을 활용해 그림자 제거 및 추가를 동시에 학습하는 자기지도 학습 단일 이미지 그림자 제거 방법을 제안한다. ISTD 및 USR 데이터셋에서 최신 기술 수준의 성능을 달성하며, 픽셀 수준의 정확도( RMSE, PSNR)와 인지적 품질(LPIPS) 측면에서 이전 방법들을 능가한다.

ABSTRACT

Shadow removal is an important computer vision task aiming at the detection and successful removal of the shadow produced by an occluded light source and a photo-realistic restoration of the image contents. Decades of re-search produced a multitude of hand-crafted restoration techniques and, more recently, learned solutions from shad-owed and shadow-free training image pairs. In this work,we propose an unsupervised single image shadow removal solution via self-supervised learning by using a conditioned mask. In contrast to existing literature, we do not require paired shadowed and shadow-free images, instead we rely on self-supervision and jointly learn deep models to remove and add shadows to images. We validate our approach on the recently introduced ISTD and USR datasets. We largely improve quantitatively and qualitatively over the compared methods and set a new state-of-the-art performance in single image shadow removal.

연구 동기 및 목표

• 쌍체의 그림자 있는 이미지와 그림자 없는 이미지 데이터셋이 필요로 하지 않는 단일 이미지 그림자 제거 문제를 해결한다.
• 비용이 많이 들고 고정된 쌍체 데이터에 의존하는 지도 학습 방법의 한계를 극복하며, 잡음과 흐릿함 등의 문제를 해결한다.
• 조건부 마스크를 통해 자기지도 학습을 활용하여 그림자 제거 및 추가를 동시에 학습할 수 있도록 한다.
• 시각적 품질과 사이클 일치성에 기반한 감시를 통해 픽셀 수준의 손실에 대한 의존도를 줄이고 일반화 능력을 향상시킨다.
• 기준 데이터셋에서 정량적 지표와 시각적 품질 측면에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 쌍체 데이터 없이 그림자 있는 영역과 그림자 없는 영역 간의 이미지 번역을 학습하기 위해 CycleGAN에 영감을 받은 사이클 일치성 GAN 프레임워크를 사용한다.
• 학습 중에 조건부 마스크를 도입하여 그림자 입력에서 원본 이미지를 재구성하도록 네트워크를 안내한다.
• 그림자 제거(G_s)와 그림자 추가(G_a)를 위한 두 개의 생성자(Generator)를 학습하며, 사이클 일치성 조건을 통해 항등 맵핑을 강제한다.
• 깊이 있는 특징 기반의 인지적 손실을 활용해 질감과 색상의 정확성을 유지하고, 흐릿함과 잡음 등의 문제를 줄인다.
• 학습 중에 다양한 그림자 형태와 위치를 동적으로 샘플링하기 위해 동적 마스크 버퍼를 도입하여 일반화 능력을 향상시킨다.
• 강한 L1 픽셀 수준의 손실을 인지적 손실과 사이클 일치성 손실로 대체하여 조명 변화와 의미적 다양성에 대한 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 사이클 일치성과 GAN을 활용한 자기지도 학습이 쌍체 데이터 없이 최신 기술 수준의 그림자 제거를 달성할 수 있는가?
• RQ2 그림자 제거와 추가를 동시에 학습하는 방식이 모델의 일반화 능력 향상과 잡음 감소에 어떤 영향을 미치는가?
• RQ3 픽셀 수준의 손실을 인지적 손실과 사이클 일치성 손실로 대체할 경우 시각적 품질과 정확도에 어떤 영향을 미치는가?
• RQ4 동적으로 샘플링된 그림자 마스크 사용이 모델 성능과 강인성에 어떤 영향을 미치는가?
• RQ5 그림자 형성 방식의 다양성이 부족한 데이터셋에서 쌍체 학습이 비쌍체 학습보다 성능이 떨어지는가?

주요 결과

• 제안된 방법은 쌍체 학습 조건에서 ISTD 데이터셋에서 테스트 RMSE 4.07, PSNR 38.22을 기록하며 이전 방법들을 능가한다.
• 더 도전적인 ISTD+ 데이터셋에서는 쌍체 버전이 RMSE 2.77, PSNR 42.05를 기록하며 새로운 최신 기술 수준을 수립한다.
• 비쌍체 버전은 ISTD에서 RMSE 4.94, PSNR 34.71을 기록하며, 비쌍체 최신 기술 수준인 Mask Shadow GAN보다 뚜렷하게 뛰어나다.
• 모델은 인지적 오차(LPIPS)를 크게 감소시켜 시각적 현실감과 질감 보존 능력이 뛰어나다는 것을 보여준다.
• 비쌍체 학습 버전이 쌍체 학습 버전보다 더 우수한 일반화 능력을 보이며, 특히 조명 변화와 질감 다양성이 높은 복잡한 장면에서 두각을 나타낸다.
• 오차 히트맵 분석 결과, 모델은 그림자 영역에서 잔차를 최소화하고 고대비 영역에서 잡음이 발생하지 않음을 확인했으며, 이는 이전 방법들과의 대비에서 유의미한 차이를 보였다.