[논문 리뷰] MBA-RainGAN: Multi-branch Attention Generative Adversarial Network for Mixture of Rain Removal from Single Images

Yiyang Shen, Yidan Feng외 5명|ArXiv.org|2020. 05. 21.

Image Enhancement Techniques참고 문헌 54인용 수 7

한 줄 요약

이 논문은 깊이에 따라 영향을 받는 가시성 저하를 모델링함으로써 단일 이미지에서 빗방울, 빗줄기, 비 안개를 포함한 혼합 비 효과를 동시에 제거하는 다중 지점 주의 GAN인 MBA-RainGAN을 제안한다. 또한 빗방울을 포함한 새로운 데이터셋인 RainCityscapes++를 제작하여 이 기준에서 시각적 품질과 정량적 지표에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Rain severely hampers the visibility of scene objects when images are captured through glass in heavily rainy days. We observe three intriguing phenomenons that, 1) rain is a mixture of raindrops, rain streaks and rainy haze; 2) the depth from the camera determines the degrees of object visibility, where objects nearby and faraway are visually blocked by rain streaks and rainy haze, respectively; and 3) raindrops on the glass randomly affect the object visibility of the whole image space. We for the first time consider that, the overall visibility of objects is determined by the mixture of rain (MOR). However, existing solutions and established datasets lack full consideration of the MOR. In this work, we first formulate a new rain imaging model; by then, we enrich the popular RainCityscapes by considering raindrops, named RainCityscapes++. Furthermore, we propose a multi-branch attention generative adversarial network (termed an MBA-RainGAN) to fully remove the MOR. The experiment shows clear visual and numerical improvements of our approach over the state-of-the-arts on RainCityscapes++. The code and dataset will be available.

연구 동기 및 목표

• 기존의 비 제거 방법에서 빗방울, 빗줄기, 안개를 포함한 종합적인 혼합 비 효과 모델링의 부족을 해결한다.
• 비로 인한 깊이에 따라 영향을 받는 가시성 저하를 반영하는 새로운 비 영상 모델을 제안한다.
• 더 현실적인 평가를 위해 실제 빗방울 효과를 포함시켜 RainCityscapes 데이터셋을 개선하여 RainCityscapes++를 구축한다.
• 다양한 비 성분을 별도로 모델링하고 제거하기 위해 다중 지점 주의 메커니즘을 개발하여 복원 정밀도를 향상시킨다.
• 새로운 기준에서 최신 기술 수준(SOTA) 방법들과 비교해 시각적 품질과 정량적 지표에서 뛰어난 성능을 달성한다.

제안 방법

• 비의 혼합(MOR)을 빗방울, 빗줄기, 비 안개의 조합으로 모델링하고 깊이에 따라 영향을 받는 저하를 반영하는 새로운 비 영상 모델을 제안한다.
• 비의 각 성분을 별도로 처리할 수 있도록 빗방울, 빗줄기, 비 안개를 위한 별도의 브랜치를 가진 다중 지점 생성기 아키텍처를 설계한다.
• 각 브랜치에 다중 해상도 자기 주의 모듈을 통합하여 장거리 특징 표현을 향상시키고 비 영향을 받는 영역에 집중하도록 한다.
• 실제 이미지와 생성된 이미지를 더 잘 구분하고 현실적인 세부 정보를 강화하기 위해 다중 해상도 및 다중 수신장 영역 설계를 가진 판별기 사용.
• 구조적 및 의미적 콘텐츠를 유지하면서 비를 제거하기 위해 적대적 손실, 지각적 손실, 사이클 일致성 손실을 사용해 GAN을 훈련한다.
• 기존의 데이터셋에 실제 빗방울 효과를 추가하여 새로 제작한 RainCityscapes++ 데이터셋을 사용해 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 비의 혼합(빗방울, 빗줄기, 안개)이 깊이에 따라 어떻게 종합적으로 영상의 가시성을 저하시키는가?
• RQ2 다중 지점 주의 메커니즘이 별개의 비 성분을 더 잘 분리하고 제거하는 데 얼마나 기여하는가?
• RQ3 빗방울을 포함한 개선된 데이터셋(RainCityscapes++)이 실제 도시 비 날씨 조건을 더 잘 반영하고 모델의 일반화 능력을 향상시키는가?
• RQ4 제안된 MBA-RainGAN은 현실적인 기준에서 최신 기술 수준(SOTA) 방법들과 비교해 시각적 품질과 정량적 지표에서 어떻게 성능을 냈는가?
• RQ5 다중 해상도 자기 주의 모듈이 비 제거 작업의 특징 표현을 향상시키는 데 기여하는 바는 무엇인가?

주요 결과

• 제안된 MBA-RainGAN은 RainCityscapes++ 기준에서 최신 기술 수준(SOTA) 성능을 달성하여 혼합 비 효과 제거 시 뛰어난 시각적 품질을 보였다.
• 정량적 결과에서 기존 방법들에 비해 PSNR와 SSIM에서 뚜렷한 향상을 보였으며, RainCityscapes++ 데이터셋에서 최대 0.5 dB의 PSNR 향상과 0.02의 SSIM 향상을 기록했다.
• 제거 실험 결과는 다중 지점 아키텍처와 자기 주의 모듈이 비 성분의 효과적인 분리 및 제거에 필수적임을 확인했다.
• RainCityscapes++에 빗방울을 포함시킴으로써 더 현실적인 평가 환경이 조성되었고, 이로 인해 이전 모델이 이러한 효과를 忽시한 한계가 드러났다.
• 시각적 비교 결과, MBA-RainGAN이 혼합 비로 인해 흐려진 물체의 세부 사항과 질감을 효과적으로 복원함을 입증했으며, 특히 깊이 왜곡이 있는 영역에서 뛰어난 성능을 보였다.
• 훈련 데이터에 포함되지 않은 실제 비 날씨의 영상에 대해서도 모델이 잘 일반화됨을 시각적 결과로 검증했다.