[논문 리뷰] Fast Single Image Rain Removal via a Deep Decomposition-Composition Network

Siyuan Li, Wenqi Ren외 3명|arXiv (Cornell University)|2018. 04. 08.

Image Enhancement Techniques참고 문헌 25인용 수 14

한 줄 요약

이 논문은 단일 이미지 비 제거를 위한 빠르고 엔드 투 엔드 딥 분해-조합 네트워크(DDC-Net)를 제안한다. 새로운 듀얼 스트림 아키텍처와 조합 모듈을 사용하여 비가 내린 이미지를 청소된 배경과 비층으로 분해한다. 이 방법은 VGA 이미지 기준으로 50ms 이내의 추론 속도를 달성하여 실시간 응용에 매우 적합한 최신 기술 성능을 보인다.

ABSTRACT

Rain effect in images typically is annoying for many multimedia and computer vision tasks. For removing rain effect from a single image, deep leaning techniques have been attracting considerable attentions. This paper designs a novel multi-task leaning architecture in an end-to-end manner to reduce the mapping range from input to output and boost the performance. Concretely, a decomposition net is built to split rain images into clean background and rain layers. Different from previous architectures, our model consists of, besides a component representing the desired clean image, an extra component for the rain layer. During the training phase, we further employ a composition structure to reproduce the input by the separated clean image and rain information for improving the quality of decomposition. Experimental results on both synthetic and real images are conducted to reveal the high-quality recovery by our design, and show its superiority over other state-of-the-art methods. Furthermore, our design is also applicable to other layer decomposition tasks like dust removal. More importantly, our method only requires about 50ms, significantly faster than the competitors, to process a testing image in VGA resolution on a GTX 1080 GPU, making it attractive for practical use.

연구 동기 및 목표

• 기상 조건이 열악한 환경에서 컴퓨터 비전 작업의 견고한 성능을 확보하기 위해 필수적인 단일 이미지 비 제거 문제에 도전한다.
• 네트워크 아키텍처에 전용 비층 구성 요소를 도입하여 비층 분해의 불안정한 성질을 극복한다.
• 분리된 구성 요소로부터 입력을 재구성하는 조합 네트워크를 포함한 엔드 투 엔드 학습 방식을 통해 분해 품질을 향상시킨다.
• 실시간 추론 속도를 확보하여 감시, 자율 주행, 모바일 이미징 등의 응용 분야에 실용적인 구현을 가능하게 한다.
• 창문에 묻은 먼지나 얼룩 제거와 같은 다른 층 분해 작업으로의 일반화 능력을 입증한다.

제안 방법

• 분해 네트워크와 조합 네트워크라는 두 가지 주요 하위 네트워크를 갖춘 딥 분해-조합 네트워크(DDC-Net)를 설계한다.
• 기존 방법이 청소된 이미지만 예측하는 데 반해, 분해 네트워크는 청소된 배경과 비층을 동시에 명시적으로 예측한다.
• 학습 중에 조합 네트워크는 혼합 함수 Ψ(·,·)를 사용하여 예측된 청소된 이미지와 비층으로부터 원래의 비가 내린 이미지를 재구성한다.
• 조합 모듈은 분해 과정의 품질과 일관성을 향상시키는 감독 신호 역할을 한다.
• 합성 데이터를 사용한 학습 후, 더 나은 일반화를 위해 비일치된 실세계 데이터로의 피니팅을 수행한다.
• 딥 네ural 네트워크의 효율성을 활용하여 GTX 1080 GPU에서 VGA 이미지당 약 50ms의 추론 속도를 달성한다.

실험 결과

연구 질문

• RQ1 청소된 배경과 비층을 동시에 명시적으로 모델링하는 딥 러닝 아키텍처가 청소된 이미지만 예측하는 기존 방법보다 분해 정확도를 향상시킬 수 있는가?
• RQ2 분리된 구성 요소로부터 입력 이미지를 재구성하는 조합 네트워크를 도입함으로써 학습 중 분해 품질이 향상되는가?
• RQ3 합성 데이터로 사전 학습하고 비일치된 실세계 데이터로 피니팅한 모델이 실세계 비가 내린 이미지에 효과적으로 일반화되는가?
• RQ4 기존 최신 기술 deraining 네트워크와 비교해 본다면, 제안된 방법은 실시간 응용 분야에서 추론 속도 측면에서 어떻게 비교되는가?
• RQ5 제안된 아키텍처는 먼지나 물 자국 제거와 같은 다른 층 분해 작업으로도 일반화 가능한가?

주요 결과

• 제안된 DDC-Net은 합성 및 실세계 비가 내린 이미지 데이터셋 모두에서 최신 기술 성능을 달성하며, GMM, JORDER, DDN, ID-CGAN 등의 방법보다 시각적 품질과 정량적 지표에서 뛰어난 성능을 보였다.
• 실세계 이미지에서 DDC-Net은 비줄무늬를 효과적으로 제거하면서 귀걸이 실이나 얼굴 텍스처와 같은 미세한 디테일을 유지하여 과도한 부드러움이나 색상 열화를 방지했다.
• ID-CGAN 결과에서 흔히 발생하는 홀로 아티팩트와 색상 왜곡을 상당히 줄였다.
• GTX 1080 GPU에서 VGA 이미지당 약 50ms의 추론 속도를 확보하여 DDN의 약 5배 빠르고, CPU 기반 GMM보다도 훨씬 빠른 속도를 기록했다.
• 그림 8에서 창문 이미지의 먼지 및 물 자국 제거를 통해 다른 층 분해 작업으로의 일반화 능력이 뛰어나다는 것이 입증되었다.
• 조합 네트워크 모듈은 재구성 손실과 합성 및 실세계 데이터에 대한 정성적 결과를 통해 분해 품질 향상에 기여한다는 것이 입증되었다.