[논문 리뷰] ARGAN: Attentive Recurrent Generative Adversarial Network for Shadow Detection and Removal

Bin Ding, Chengjiang Long외 2명|arXiv (Cornell University)|2019. 08. 04.

Video Surveillance and Tracking Methods참고 문헌 54인용 수 25

한 줄 요약

이 논문은 다중 점진적 단계를 통해 주의 맵과 잔차 학습을 이용해 그림자 감지 및 제거를 수행하는 주의적 순환 생성 적대 신경망(ARGAN)을 제안한다. 이는 네 개의 공개 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 특히 질감 세부 정보를 유지하고 현실적인 그림자 없는 이미지를 생성하는 데 뛰어나다. 또한, 레이블이 없는 데이터를 활용한 준지도 학습을 통해 성능 향상을 이룬다.

ABSTRACT

In this paper we propose an attentive recurrent generative adversarial network (ARGAN) to detect and remove shadows in an image. The generator consists of multiple progressive steps. At each step a shadow attention detector is firstly exploited to generate an attention map which specifies shadow regions in the input image.Given the attention map, a negative residual by a shadow remover encoder will recover a shadow-lighter or even a shadow-free image. A discriminator is designed to classify whether the output image in the last progressive step is real or fake. Moreover, ARGAN is suitable to be trained with a semi-supervised strategy to make full use of sufficient unsupervised data. The experiments on four public datasets have demonstrated that our ARGAN is robust to detect both simple and complex shadows and to produce more realistic shadow removal results. It outperforms the state-of-the-art methods, especially in detail of recovering shadow areas.

연구 동기 및 목표

• 복잡한 실세계 이미지에서 그림자를 탐지하고 제거하는 강력한 방법을 개발하기 위해.
• 복잡한 시나리오에 부적합한 엄격한 사전 지식에 의존하는 전통적 방법의 한계를 해결하기 위해.
• 딥러닝 기반 그림자 제거에서의 데이터 부족 문제를 해결하기 위해, 방대한 레이블이 없는 그림자 이미지를 활용한 준지도 학습 전략을 도입하기 위해.
• 그림자 제거 결과의 품질과 현실성, 특히 세밀한 디테일과 색상 정확성 유지에 기여하기 위해.
• 주의 메커니즘을 갖춘 순환 생성기 아키텍처를 통해 군집에서 세부 사항으로의 정련을 가능하게 하기 위해.

제안 방법

• 생성기는 군집에서 세부 사항으로의 점진적 정련 방식으로 그림자 감지 및 제거를 수행하기 위해 다중 단계를 활용한다.
• 각 단계에서 그림자 주의 감지기가 입력 이미지의 그림자 영역을 강조하는 주의 맵을 생성한다.
• 그림자 제거 인코더는 주의 맵과 이전 출력을 이용해 그림자 없는 또는 그림자 낮은 이미지를 복구하기 위한 음성 잔차를 생성한다.
• 장기 단기 기억(LSTM) 유닛을 통합하여 단계 간에 세부 정보를 유지하고 전파함으로써 감지 및 복구 정확도를 향상시킨다.
• 진짜 그림자 없는 이미지와 생성된 이미지를 구분하도록 판별기를 훈련시켜, 현실감 있는 결과를 향한 적대적 훈련을 가능하게 한다.
• 준지도 학습 전략을 통해 방대한 레이블이 없는 그림자 이미지를 포함한 훈련을 확장함으로써 일반화 능력과 강인성을 향상시킨다.

실험 결과

연구 질문

• RQ1 단일 단계 방법과 비교해 볼 때, 점진적 순환 생성기 아키텍처는 그림자 감지 및 제거 정확도를 향상시키는가?
• RQ2 주의 맵과 잔차 학습의 통합이 그림자 제거 결과의 품질에 어떻게 기여하는가?
• RQ3 준지도 학습을 통해 레이블이 없는 그림자 이미지를 통합할 경우, 모델의 일반화 능력과 성능 향상은 어느 정도 이루어지는가?
• RQ4 생성기 내부에서 LSTMs를 사용할 경우, 그림자 영역의 질감 디테일 유지와 색상 일관성에 어떤 영향을 미치는가?
• RQ5 기존 최신 기술 수준(SOTA) 기법들과 비교해 복잡한 시나리오에서 복잡한 그림자 패턴을 더 잘 처리할 수 있는가?

주요 결과

• ARGAN은 네 개의 공개 데이터셋 전부에서 최고 성능을 기록했으며, ISTD 데이터셋에서 비그림자 영역의 그림자 제거에 대해 6.65 RMSE를 기록해 두 번째로 좋은 성능을 낸 방법(7.21)을 능가했다.
• ISTD 데이터셋에서 ARGAN+SS(준지도 학습 변형)는 전체 이미지에 대해 5.89 RMSE를 기록했으며, ARGAN의 6.68 RMSE보다 유의미하게 향상된 성능을 보였다.
• 제거 실험에서 LSTM 레이어를 제거할 경우 성능 저하가 발생했으며, ISTD에서 RMSE가 7.57로 상승하여 LSTM이 세부 정보와 현실감 유지에 핵심적인 역할을 한다는 점을 확인했다.
• 시각화 결과, ARGAN은 DeshadowNet과 ST-CGAN처럼 어두운 비그림자 영역에서 색상 왜곡을 일으키는 것과 달리, 비그림자 영역의 과도한 강조를 방지함을 보였다.
• 복잡한 시나리오에서 ARGAN은 그림자 영역의 질감 디테일을 성공적으로 유지했으며, 주변 환경과 일관된 조명을 확보했다.
• 최적의 점진적 단계 수(N=3)는 성능과 복잡도 사이의 균형을 맞추었으며, ISTD에서 RMSE는 N=1일 때 7.35에서 N=4일 때 6.68로 감소했다.