[논문 리뷰] Unsupervised Shadow Removal Using Target Consistency Generative Adversarial Network

Chao Tan, Xin Feng|arXiv (Cornell University)|2020. 10. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 53인용 수 5

한 줄 요약

이 논문은 쌍이 없는 훈련 데이터가 없는 채워진 영상에서 그림자 없는 영상으로의 일방향 매핑을 학습하기 위해 목표 일致성 제약을 사용하는 새로운 비지도 그림자 제거 방법인 TC-GAN을 제안한다. 입력 그림자 영상과 생성된 그림자 없는 출력 간의 엄격한 상관관계를 강제함으로써 TC-GAN은 최신 기술 수준을 초월하는 성능을 달성하며, 이전의 비지도 방법보다 FID 기준 14.9% 향상되고 KID 기준 31.5% 향상되었으며, 지도 학습 방법과 동등한 품질을 달성한다.

ABSTRACT

Unsupervised shadow removal aims to learn a non-linear function to map the original image from shadow domain to non-shadow domain in the absence of paired shadow and non-shadow data. In this paper, we develop a simple yet efficient target-consistency generative adversarial network (TC-GAN) for the shadow removal task in the unsupervised manner. Compared with the bidirectional mapping in cycle-consistency GAN based methods for shadow removal, TC-GAN tries to learn a one-sided mapping to cast shadow images into shadow-free ones. With the proposed target-consistency constraint, the correlations between shadow images and the output shadow-free image are strictly confined. Extensive comparison experiments results show that TC-GAN outperforms the state-of-the-art unsupervised shadow removal methods by 14.9% in terms of FID and 31.5% in terms of KID. It is rather remarkable that TC-GAN achieves comparable performance with supervised shadow removal methods.

연구 동기 및 목표

• 그림자 제거에서 쌍이 없는 그림자 및 그림자 없는 훈련 데이터의 부족 문제를 해결하기 위해.
• 입력 그림자 영상와 그에 대응하는 생성된 그림자 없는 영상 간의 강력한 일致성 강제를 통해 비지도 그림자 제거 성능을 향상시키기 위해.
• 양방향 사이클 일치 기반 접근 방식에 비해 더 효율적인 일방향 매핑 메커니즘을 개발하기 위해.
• 지상 진술 쌍 데이터가 필요 없이도 지도 학습 방법과 동등한 성능을 달성하기 위해.

제안 방법

• 그림자 영상에서 그림자 없는 영상으로의 일방향 매핑을 학습하는 목표 일치 생성 적대 신경망(TC-GAN)을 제안한다.
• 입력 그림자 영상와 생성된 그림자 없는 출력 간 강력한 상관관계를 강제하기 위해 목표 일치 제약을 도입한다.
• 진짜 그림자 없는 영상와 생성된 영상 간을 구분하는 판별자와, 목표 일치 제약 하에서 재구성 오차를 최소화하는 생성자를 사용한다.
• 양방향 매핑이 필요 없는 사이클 일치 없이 훈련하는 전략을 채택한다.
• 시각적 손실을 활용한 적대적 훈련을 통해 이미지의 세부 사항과 현실감을 유지한다.
• 적대적 손실, 시각적 손실, 목표 일치 손실의 조합을 사용해 생성자를 최적화한다.

실험 결과

연구 질문

• RQ1 목표 일치를 갖춘 일방향 매핑이 양방향 사이클 일치 GAN보다 더 나은 그림자 제거 성능을 달성할 수 있는가?
• RQ2 목표 일치 제약이 비지도 그림자 제거에서 이미지 구조 보존과 도메인 이동 감소에 얼마나 효과적인가?
• RQ3 비지도 방법이 지도 학습 기반 그림자 제거 방법의 성능에 얼마나 가까이 도달할 수 있는가?
• RQ4 제안된 TC-GAN이 다양한 유형의 그림자와 실제 이미지에 대해 잘 일반화되는가?

주요 결과

• TC-GAN은 이전 최신 기술 수준의 비지도 방법보다 Fréchet Inception Distance(FID) 기준 14.9% 향상되었다.
• Kernel Inception Distance(KID) 기준 31.5% 향상되어 더 나은 이미지 분포 일치를 나타낸다.
• 지상 진술 쌍 데이터가 전혀 필요 없음에도 불구하고, TC-GAN은 지도 학습 기반 그림자 제거 방법과 동등한 성능을 달성한다.
• 목표 일치 제약이 입력 그림자 영상와 생성된 출력 간의 특징 수준 일치를 크게 향상시킨다.
• 제거 분석 결과, 목표 일치 손실이 성능 향상에 핵심적인 역할을 하며, 특히 질감과 색상 정확도 유지에 있어 중요하다.