[논문 리뷰] RIS-GAN: Explore Residual and Illumination with Generative Adversarial Networks for Shadow Removal

Ling Zhang, Chengjiang Long외 2명|arXiv (Cornell University)|2019. 11. 20.

Image Enhancement Techniques참고 문헌 30인용 수 14

한 줄 요약

이 논문은 그림자 제거를 위해 잔차 및 조명 특징을 동시에 탐색하는 새로운 GAN 기반 프레임워크인 RIS-GAN을 제안한다. 모수적이고 세분화된 보정 과정에서 부정적 잔차 영상과 역조명 맵을 활용함으로써, 적대적 훈련과 크로스 손실을 통한 보정을 통해 특수 그림자 인식 컴포넌트 없이도 SRD 및 ISTD 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Residual images and illumination estimation have been proved very helpful in image enhancement. In this paper, we propose a general and novel framework RIS-GAN which explores residual and illumination with Generative Adversarial Networks for shadow removal. Combined with the coarse shadow-removal image, the estimated negative residual images and inverse illumination maps can be used to generate indirect shadow-removal images to refine the coarse shadow-removal result to the fine shadow-free image in a coarse-to-fine fashion. Three discriminators are designed to distinguish whether the predicted negative residual images, shadow-removal images, and the inverse illumination maps are real or fake jointly compared with the corresponding ground-truth information. To our best knowledge, we are the first one to explore residual and illumination for shadow removal. We evaluate our proposed method on two benchmark datasets, i.e., SRD and ISTD, and the extensive experiments demonstrate that our proposed method achieves the superior performance to state-of-the-arts, although we have no particular shadow-aware components designed in our generators.

연구 동기 및 목표

• 조명 변화와 질감 변동으로 인해 영상 품질이 악화되는 복잡한 환경에서의 그림자 제거 과제를 해결하기 위해.
• 잔차 및 조명 특징이 그림자 제거 성능 향상에 기여하는 상호 보완적 역할을 탐색하기 위해.
• 특수 그림자 인식 컴포넌트에 의존하지 않는 일반화 가능하고 종단 간(end-to-end) 프레임워크를 개발하기 위해.
• 다양한 상호보완적 입력을 활용한 코arse-to-fine 보정 전략을 통해 그림자 제거 품질을 향상시키기 위해.

제안 방법

• 네 개의 인코더-디코더 생성기(생성자)를 활용하여 부정적 잔차 영상, 중간 그림자 제거 영상, 역조명 맵, 정제된 그림자 제거 영상의 출력을 생성한다.
• 입력 그림자 영상과 요소별 덧셈을 통해 부정적 잔차 영상을 생성함으로써, 그림자 없는 영역을 간접적으로 복원한다.
• 레티누스 모델 기반으로 역조명 맵을 추정하여 그림자 영역를 탐지하고, 요소별 곱셈을 통해 간접적으로 그림자 제거를 수행한다.
• 코arse 그림자 제거 출력과 잔차 및 조명 브랜치로부터 유도된 간접 결과를 조합하여 고품질의 정제를 수행하는 보정 생성기를 설계한다.
• 공유된 아키텍처를 가진 세 개의 판별기(discriminators)를 함께 훈련하여, 부정적 잔차, 그림자 제거 영상, 역조명 맵의 진짜 또는 가짜 출력을 구분한다.
• 공동 판별기와 크로스 손실 함수를 통해 세 출력 간의 일관성을 강제하여, 지표 데이터와의 일치를 보장한다.

실험 결과

연구 질문

• RQ1 잔차 및 조명 특징의 공동 모델링이 표준 GAN 기반 방법을 넘어서 그림자 제거 성능 향상에 기여할 수 있는가?
• RQ2 잔차 및 조명 추정에서 도출된 간접 그림자 제거 결과를 통합할 경우 최종 출력 품질은 어떻게 향상되는가?
• RQ3 적대적 훈련과 크로스 손실이 현실적이고 일관된 그림자 제거 결과를 보장하는 데 기여하는 기여도는 어떠한가?
• RQ4 특수 그림자 인식 컴포넌트 없이도 일반화 가능한 프레임워크가 전문적인 SOTA 방법을 초월할 수 있는가?

주요 결과

• RIS-GAN은 SRD 및 ISTD 벤치마크에서 최고의 성능을 기록하였으며, SRD에서 RMSE 8.22, ISTD에서 RMSE 8.99를 기록하여 모든 아블레이션 변형보다 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, 적대적 손실과 크로스 손실이 모두 필수적임을 확인하였으며, 둘 중 하나를 제거할 경우 성능 저하가 심각하게 발생하였다.
• 부정적 잔차와 역조명 맵의 조합은 상호보완적 정보를 제공하여, 그림자 제거 영역의 세부 사항 복원과 현실성 향상에 기여하였다.
• 시각화 결과에 따르면, 프레임워크는 부정적 잔차 및 역조명 맵에서 정확한 그림자 탐지 마스크를 성공적으로 생성하였다.
• 프레임 단위 처리를 통한 영상 그림자 제거 결과는 이론적 잠재력을 보여주었지만, 시간적 일관성은 여전히 도전 과제로 남아 있다.
• 이 프레임워크는 빗방울 제거, 안개 제거, 내재 이미지 분해 등의 다른 영상 복원 작업으로도 일반화 및 확장 가능하다.