[논문 리뷰] Stacked Conditional Generative Adversarial Networks for Jointly Learning Shadow Detection and Shadow Removal

Jifeng Wang, Xiang Li외 2명|arXiv (Cornell University)|2017. 12. 07.

Video Surveillance and Tracking Methods참고 문헌 52인용 수 36

한 줄 요약

이 논문은 종단간(end-to-end) 방식으로 그림자 검출과 그림자 제거를 동시에 학습하는 새로운 스택형 조건부 GAN 프레임워크인 ST-CGAN을 제안한다. 첫 번째 조건부 GAN은 그림자 마스크를 검출하고, 두 번째 조건부 GAN은 그림자 없는 이미지를 재구성하는 방식으로 두 조건부 GAN을 스택하여 상호 보완적 지도 학습을 구현하고 전역적 장면 맥락을 유지함으로써, 1,870개의 이미지 트리플릿을 포함한 새로운 대규모 ISTD 기준에서 최신 기술(SOTA) 수준의 성능을 달성한다.

ABSTRACT

Understanding shadows from a single image spontaneously derives into two types of task in previous studies, containing shadow detection and shadow removal. In this paper, we present a multi-task perspective, which is not embraced by any existing work, to jointly learn both detection and removal in an end-to-end fashion that aims at enjoying the mutually improved benefits from each other. Our framework is based on a novel STacked Conditional Generative Adversarial Network (ST-CGAN), which is composed of two stacked CGANs, each with a generator and a discriminator. Specifically, a shadow image is fed into the first generator which produces a shadow detection mask. That shadow image, concatenated with its predicted mask, goes through the second generator in order to recover its shadow-free image consequently. In addition, the two corresponding discriminators are very likely to model higher level relationships and global scene characteristics for the detected shadow region and reconstruction via removing shadows, respectively. More importantly, for multi-task learning, our design of stacked paradigm provides a novel view which is notably different from the commonly used one as the multi-branch version. To fully evaluate the performance of our proposed framework, we construct the first large-scale benchmark with 1870 image triplets (shadow image, shadow mask image, and shadow-free image) under 135 scenes. Extensive experimental results consistently show the advantages of ST-CGAN over several representative state-of-the-art methods on two large-scale publicly available datasets and our newly released one.

연구 동기 및 목표

• 기존 방법들이 그림자 검출과 제거를 별개의 작업으로 간주하고 국소적 특징에 의존하며 전반적인 장면 이해가 부족한 점을 해결하기 위해.
• 통합된 딥 러닝 프레임워크에서 두 작업을 함께 훈련시킴으로써 그림자 검출과 제거 간 상호 이점이 어떻게 발생하는지 탐색하기 위해.
• 기존 표준 다중 브랜치 접근 방식과 다름없이, 작업 간 전진 및 역방향 정보 흐름을 가능하게 하는 새로운 스택형 아키텍처를 설계하기 위해.
• 다중 작업 학습을 위한 공식으로 그림자 이미지, 정답 마스크, 그림자 없는 이미지의 쌍을 포함한 첫 번째 대규모 벤치마크 데이터셋을 구축하고 공개하기 위해.
• 스택형 생성적 적대적 네트워크를 통한 공동 학습이 계층적 전역 특징 모델링을 통해 검출 정확도와 제거 품질을 향상시킨다는 것을 입증하기 위해.

제안 방법

• 프레임워크는 두 개의 조건부 GAN으로 구성된 스택 아키텍처를 사용한다: 첫 번째 생성자는 그림자가 있는 이미지에서 그림자 검출 마스크를 생성하고, 두 번째 생성자는 원본 이미지와 예측 마스크를 사용하여 그림자 없는 이미지를 재구성한다.
• 각 생성자는 실재 대 생성 출력을 구분하는 디스크림너와 짝을 이루며, 첫 번째 디스크림너는 검출 품질을 평가하고 두 번째 디스크림너는 재구성된 이미지의 현실성 여부를 평가한다.
• 스택형 설계는 이전 작업의 모든 출력(입력 이미지, 검출 마스크, 재구성된 이미지)을 연결하여 후속 구성 요소에 공급함으로써, DenseNet과 유사한 밀집 특징 흐름을 보장한다.
• 모델은 생성적 적대적 손실, 재구성에 대한 L1 손실, 마스크 예측에 대한 이진 교차 엔트로피 손실을 사용하여 종단간 훈련함으로써, 정밀도와 현실성 모두를 향상시킨다.
• 스택형 디스크림너를 통해 고수준 관계를 모델링함으로써 전역적 장면 의미론과 조명 일관성을 유지하도록 아키텍처를 설계하였다.
• 제거 실험을 통해 각 구성 요소의 필요성을 확인하였으며, 특히 스택 구조와 공동 훈련이 단일 작업 또는 다중 브랜치 대안보다 우수한 성능을 내는 것으로 나타났다.

실험 결과

연구 질문

• RQ1 독립적 훈련 대비 그림자 검출과 제거를 공동으로 학습함으로써 두 작업의 성능 향상이 가능할까?
• RQ2 공유된 정보 흐름을 갖는 순차적 처리 스택 아키텍처가 그림자 조작을 위한 다중 작업 학습에서 표준 다중 브랜치 아키텍처를 능가할까?
• RQ3 스택형 디스크림너를 통한 전역적 장면 맥락 보존이 검출 및 제거 품질 향상에 얼마나 기여할까?
• RQ4 그림자, 마스크, 그림자 없는 이미지의 쌍이 있는 대규모 벤치마크에서 제안된 프레임워크는 얼마나 효과적인가?
• RQ5 검출과 제거 간 상호 지도 학습이 모델 일반화 및 강인성 향상에 기여하는 정도는 어느 정도일까?

주요 결과

• ST-CGAN은 ISTD 데이터셋에서 전체 RMSE 7.47로 그림자 영역과 비그림자 영역에서 모두 가장 낮은 RMSE를 기록하며, 모든 SOTA 방법을 능가한다.
• 그림자 검출에서는 BER(균형 오차율) 3.85%를 기록하여 다중 브랜치 기준선의 4.77%보다 유의미하게 낮아 검출 정확도가 뛰어나다는 것을 보여준다.
• 모델은 잎 그림자나 밝은 표면의 가장자리 케이스와 같은 미세한 그림자 세부 정보를 성공적으로 검출하였으며, cGAN과 scGAN은 이를 실패한다.
• 제거 실험을 통해 스택 구조나 다른 구성 요소를 제거할 경우 일관되게 성능 저하가 발생함을 확인하였으며, 이는 해당 요소의 필수성을 입증한다.
• 스택형 공동 학습 프레임워크는 모든 지표에서 공정한 다중 브랜치 기준선을 능가하여, 병렬 작업 분지보다 순차적이고 정보가 풍부한 작업 스택이 우월함을 입증한다.
• 제안된 ISTD 데이터셋은 그림자, 마스크, 그림자 없는 이미지의 트리플릿 총 1,870개로 구성되어 있으며, 공동 그림자 학습을 위한 첫 번째 대규모 벤치마크로서 향후 연구 지원을 위해 공개되었다.