[논문 리뷰] Image De-raining Using a Conditional Generative Adversarial Network

He Zhang, Vishwanath A. Sindagi외 1명|arXiv (Cornell University)|2017. 01. 21.

Image Enhancement Techniques참고 문헌 80인용 수 249

한 줄 요약

논문은 ID-CGAN을 소개합니다. 이는 밀집 연결 생성기와 다중 해상도 판별기를 갖춘 조건부 GAN으로 단일 이미지의 비 제거를 수행하며, 시각적/정량적 결과가 우수하고 후속 객체 탐지 성능이 향상됩니다.

ABSTRACT

Severe weather conditions such as rain and snow adversely affect the visual quality of images captured under such conditions thus rendering them useless for further usage and sharing. In addition, such degraded images drastically affect performance of vision systems. Hence, it is important to solve the problem of single image de-raining/de-snowing. However, this is a difficult problem to solve due to its inherent ill-posed nature. Existing approaches attempt to introduce prior information to convert it into a well-posed problem. In this paper, we investigate a new point of view in addressing the single image de-raining problem. Instead of focusing only on deciding what is a good prior or a good framework to achieve good quantitative and qualitative performance, we also ensure that the de-rained image itself does not degrade the performance of a given computer vision algorithm such as detection and classification. In other words, the de-rained result should be indistinguishable from its corresponding clear image to a given discriminator. This criterion can be directly incorporated into the optimization framework by using the recently introduced conditional generative adversarial networks (GANs). To minimize artifacts introduced by GANs and ensure better visual quality, a new refined loss function is introduced. Based on this, we propose a novel single image de-raining method called Image De-raining Conditional General Adversarial Network (ID-CGAN), which considers quantitative, visual and also discriminative performance into the objective function. Experiments evaluated on synthetic images and real images show that the proposed method outperforms many recent state-of-the-art single image de-raining methods in terms of quantitative and visual performance.

연구 동기 및 목표

• 비 rain으로 인한 이미지 저하 문제와 그것이 비전 시스템에 미치는 영향을 동기로 삼습니다.
• 최적화 과정에 판별적 및 지각적 기준을 포함시켜 단일 이미지 비 제거의 잘 정의되지 않음 문제를 해결합니다.
• 후처리 없이 비 제거를 위한 CGAN 기반 프레임워크(ID-CGAN)를 제안합니다.
• 비 제거 중 전역 및 로컬 맥락을 포착하기 위해 밀집 연결 생성기와 다중 해상도 판별기를 설계합니다.
• 합성 및 실세계 데이터셋에서 효과를 입증하고 객체 탐지 성능이 향상되었음을 보입니다.

제안 방법

• 한 이미지 x에서 비가 내린 입력 x를 조건으로 한 맵핑으로 비 제거된 이미지 y를 학습하기 위해 조건부 GAN을 사용합니다.
• 비 제거 중 세부 정보를 보존하기 위한 스킵 연결이 있는 밀집 연결 생성기를 도입합니다.
• 로컬 및 글로벌 정보를 활용하여 실제/가짜 구분을 수행하는 다중 해상도 판별기를 사용합니다.
• 픽셀 수준 손실 L_E, 적대적 손실 L_A, 지각 손실 L_P를 조합한 정교한 지각 손실 L_RP를 정의하고 가중치를 조정합니다.
• 유클리드, 지각, 적대 손실을 결합하여 학습을 안내하고 GAN 유발 아티팩트를 감소시키며 L_RP = L_E + lambda_a L_A + lambda_p L_P로 표현합니다.
• 합성 및 실제 비 데이터셋으로 학습하고 PSNR, SSIM, UQI, VIF로 평가하며 Faster-RCNN을 이용한 하류 객체 탐지 성능도 평가합니다.

실험 결과

연구 질문

• RQ1 조건부 GAN 프레임워크가 단일 이미지에서 비 스트리크를 깨끗한 배경으로 효과적으로 분리할 수 있는가?
• RQ2 밀집 연결 생성기와 다중 해상도 판별기가 기준보다 비 제거 품질을 향상시키는가?
• RQ3 정교한 지각 손실을 도입하면 아티팩트를 감소시키고 시각적 및 정량적 지표를 개선하는가?
• RQ4 제안한 방법이 비가 젖은 영상의 객체 탐지와 같은 하류 작업에 유익한가?

주요 결과

• ID-CGAN은 합성 데이터에서 시각적 품질과 정량적 지표 면에서 여러 최신 단일 이미지 비 제거 방법을 능가합니다.
• 다중 해상도 판별기가 단일 해상도 판별기가 놓치는 미세한 질감 디테일을 회복하는 데 도움이 됩니다.
• 정교한 지각 손실은 아티팩트를 줄이고 픽셀 손실이나 적대 손실만 사용하는 것과 비교하여 선명도와 디테일 보존을 향상시킵니다.
• ID-CGAN은 비가 내린 이미지에서 객체 탐지 파이프라인(Faster-RCNN)의 탐지 성능을 향상시킵니다.
• 변형 연구에서 유클리드, 지각 및 적대 손실의 조합과 다중 해상도 판별기가 평가된 구성 중에서 최상의 성능을 보였습니다.