[논문 리뷰] Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN

Xiaodong Cun, Chi‐Man Pun외 1명|arXiv (Cornell University)|2019. 11. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 21

한 줄 요약

이 논문은 유령 아티팩트를 제거하기 위해 이중 계층적 집합 네트워크(DHAN)와 실루엣 매트팅 GAN(SMGAN)을 제안한다. DHAN은 성장하는 확장 컨벌루션과 계층적 특징 및 주의 집합을 사용하여 그림자 경계를 유지한다. 반면 SMGAN은 그림자 없는 이미지와 마스크에서 실제적인 그림자 이미지를 합성하여 훈련 데이터를 증강시키며, 이는 색상 일관성과 성능 향상에 크게 기여한다. 기존 최고 수준의 방법들보다 뛰어난 성능을 발휘한다.

ABSTRACT

Shadow removal is an essential task for scene understanding. Many studies consider only matching the image contents, which often causes two types of ghosts: color in-consistencies in shadow regions or artifacts on shadow boundaries. In this paper, we tackle these issues in two ways. First, to carefully learn the border artifacts-free image, we propose a novel network structure named the dual hierarchically aggregation network~(DHAN). It contains a series of growth dilated convolutions as the backbone without any down-samplings, and we hierarchically aggregate multi-context features for attention and prediction, respectively. Second, we argue that training on a limited dataset restricts the textural understanding of the network, which leads to the shadow region color in-consistencies. Currently, the largest dataset contains 2k+ shadow/shadow-free image pairs. However, it has only 0.1k+ unique scenes since many samples share exactly the same background with different shadow positions. Thus, we design a shadow matting generative adversarial network~(SMGAN) to synthesize realistic shadow mattings from a given shadow mask and shadow-free image. With the help of novel masks or scenes, we enhance the current datasets using synthesized shadow images. Experiments show that our DHAN can erase the shadows and produce high-quality ghost-free images. After training on the synthesized and real datasets, our network outperforms other state-of-the-art methods by a large margin. The code is available: http://github.com/vinthony/ghost-free-shadow-removal/

연구 동기 및 목표

• 그림자 제거에서 발생하는 유령 아티팩트, 특히 색상 불일치와 경계 아티팩트를 해결하기 위해.
• 기존 그림자 제거 데이터셋의 장면 다양성 부족이 색상 일관성에 악영향을 미치는 문제를 해결하기 위해.
• 합성 그림자 생성을 통한 데이터 증강을 활용해 강건하고 일반화 능력이 뛰어난 그림자 제거 모델을 개발하기 위해.
• 계층적 특징 및 주의 집합을 통합한 유일한 네트워크 아키텍처를 통해 그림자 탐지와 제거를 공동 학습하기 위해.

제안 방법

• 다운샘플링 없이 성장하는 확장 컨벌루션을 백본으로 사용하는 이중 계층적 집합 네트워크(DHAN)를 제안하여 저수준 세부 정보를 유지한다.
• 다중 맥락 특징 재사용을 향상시키고 경계 무결성을 개선하기 위해 계층적 특징 집합 및 계층적 주의 메커니즘을 도입한다.
• 그림자 없는 이미지와 마스크에서 실제적인 그림자 매트를 학습하여 데이터 증강을 가능하게 하는 실루엣 매트팅 GAN(SMGAN)을 설계한다.
• 실제 쌍체 데이터셋에서 SMGAN을 훈련시켜 다양한 장면과 마스크를 가진 새로운 그림자 이미지를 합성함으로써 훈련 데이터 분포를 확장한다.
• 실제 데이터와 합성 데이터를 결합하여 DHAN의 엔드 투 엔드 훈련을 수행함으로써 일반화 능력 향상과 아티팩트 감소를 달성한다.
• 정답 그림자 마스크에서 유도된 주의 손실을 사용해 주의 메커니즘을 감독함으로써 정확한 그림자 영역 집중을 보장한다.

실험 결과

연구 질문

• RQ1 계층적 특징 및 주의 집합을 갖춘 딥 네트워크 아키텍처가 그림자 제거에서 유령 아티팩트를 효과적으로 줄일 수 있는가?
• RQ2 GAN 기반 매트팅 네트워크에서 유도된 합성 그림자 데이터 통합이 일반화 능력과 색상 일관성에 어떤 영향을 미치는가?
• RQ3 실루엣 매트팅 GAN이 자연스러운 장면 분포를 유지하면서 얼마나 현실적인 그림자 매트를 생성할 수 있는가?
• RQ4 통합 아키텍처를 통한 그림자 탐지 및 제거의 공동 학습이 별도 또는 단일 작업 접근 방식보다 우월한가?
• RQ5 실제 데이터와 합성 데이터를 조합한 증강 훈련이 SRD 및 SBU와 같은 새로운 데이터셋에서 성능 향상에 기여하는가?

주요 결과

• 제안된 DHAN는 이중 계층적 집합(DLA)을 사용하여 SRD 데이터셋에서 RMSE를 5.67로 낮추며, 베이스라인 CAN(6.14)과 LA 변형(5.98)을 능가한다.
• 절단 실험을 통해 계층적 주의와 특징 집합이 특히 그림자 경계에서의 유령 아티팩트 감소에 크게 기여함을 확인하였다.
• SMGAN은 LPIPS 5.38, SSIM 91.67, PSNR 26.31을 기록하며, Mask-ShadowGAN과 Pix2Pix를 능가하는 고품질의 그림자 이미지를 생성한다.
• ISTD+S 데이터셋으로 증강한 훈련을 통해 SRD 데이터셋에서 RMSE를 ISTD 전용 훈련의 11.9에서 9.82로 감소시켜 일반화 능력 향상을 입증하였다.
• SBU 데이터셋에서 합성 데이터로 훈련된 모델은 새로운 장면에서도 유령 아티팩트 없이 그림자를 효과적으로 제거하였다.
• 시각적 비교 결과, 제안된 방법은 색상 일관성을 유지하면서도 특히 큰 그림자 영역에서 아티팩트 없이 그림자를 효과적으로 제거하는 것으로 나타났다.