[논문 리뷰] Attentive Generative Adversarial Network for Raindrop Removal from a Single Image

Rui Qian, Robby T. Tan외 3명|arXiv (Cornell University)|2017. 11. 28.

Image Enhancement Techniques참고 문헌 23인용 수 53

한 줄 요약

논문은 주의 집중 GAN을 제안하는데, 주의 맵을 학습하여 물방울 영역과 주변 영역에 초점을 맞춰 단일 이미지에서 물방울을 제거하고 이전 방법들보다 우수한 결과를 달성합니다.

ABSTRACT

Raindrops adhered to a glass window or camera lens can severely hamper the visibility of a background scene and degrade an image considerably. In this paper, we address the problem by visually removing raindrops, and thus transforming a raindrop degraded image into a clean one. The problem is intractable, since first the regions occluded by raindrops are not given. Second, the information about the background scene of the occluded regions is completely lost for most part. To resolve the problem, we apply an attentive generative network using adversarial training. Our main idea is to inject visual attention into both the generative and discriminative networks. During the training, our visual attention learns about raindrop regions and their surroundings. Hence, by injecting this information, the generative network will pay more attention to the raindrop regions and the surrounding structures, and the discriminative network will be able to assess the local consistency of the restored regions. This injection of visual attention to both generative and discriminative networks is the main contribution of this paper. Our experiments show the effectiveness of our approach, which outperforms the state of the art methods quantitatively and qualitatively.

연구 동기 및 목표

• 단일 물방울 분해 이미지에서 물방울 영역과 배경이 제공되지 않는 상황에서 물방울 제거를 동기화한다.
• 생성기와 판별기에 시각적 주의를 주입하는 주의 집중 GAN을 도입한다.
• 물방울 주의를 학습하는 주의 집중-순환 네트워크와 배경을 복원하는 컨텍스추얼 오토인코더를 개발한다.
• 복원 품질을 향상시키기 위해 다중 스케일 및 지각 손실을 사용한다.
• 최신 방법들과의 비교를 통해 정량적 및 정성적 향상을 입증한다.

제안 방법

• 주의 집중-순환 네트워크가 복원을 가이드하는 주의 맵을 생성하고, 최종적으로 물방울이 없는 이미지를 출력하는 컨텍스추얼 오토인코더로 구성된 두 부분으로 구성된 GAN 프레이임워크를 구축한다.
• 0에서 1까지의 주의 맵을 생성하기 위해 ResNet-5 블록과 컨볼루션 LSTM을 갖는 순환 블록으로 주의 모듈을 학습한다.
• Skip 연결과 다중 스케일 손실 함수가 있는 컨텍스추얼 오토인코더에서 입력 이미지와 최종 주의 맵을 융합한다.
• Decoder 층에 다중 스케일 손실을 적용해 서로 다른 스케일의 맥락 정보를 포착하고, 사전 학습된 네트워크를 이용한 지각 손실를 추가한다.
• 주의 맵을 안내하는 주의 집중 판별기를 도입하여 맵 기반 손실을 통해 복원에서 국지적 일관성을 강제한다.
• 학습 데이터 생성을 위해 물방울 형성 모델 I = (1-M)⊙B + R을 활용하고 주의 지향 손실 L_ATT를 통해 주의 맵을 감독한다.

실험 결과

연구 질문

• RQ1 테스트 시 명시적 물방울 마스크 없이도 단일 저하 이미지로부터 물방울 영역과 주변 구조를 로컬라이즈하는 주의 집중 GAN을 학습할 수 있는가?
• RQ2 생성기와 판별기에 학습된 주의 맵을 주입하는 것이 비주의 집중 변형에 비해 물방울 제거 품질을 향상시키는가?
• RQ3 다중 스케일 및 지각 손실이 물방울이 없는 재구성의 충실도를 향상시키는가?
• RQ4 제안된 방법이 표준 지표에서 기존의 단일 이미지 물방울 제거 방법과 비교되었을 때 어떠한 차이가 있는가?

주요 결과

• 제안된 AA+AD 구조가 Eigen13, Pix2Pix 및 비-주의 집중 변형들보다 더 높은 PSNR과 SSIM을 달성한다.
• AA+AD가 PSNR 31.57 및 SSIM 0.9023을 얻어 목록에 있는 모든 기준선보다 우수하다.
• 주요 연구에서 생성기나 판별기에 주의가 없으면 성능이 떨어지는 등 주의 인도 필요성을 확인하는 분석이 나타난다.
• 본 방법은 시각적으로 대부분의 물방울을 제거하고 경쟁 방법들보다 구조적 세부 정보를 더 잘 보존한다.
• 정량적 이점은 시각적 예 및 비전 API 적용 시 객체 인식 점수의 향상으로 보완된다.