[논문 리뷰] Joint Rain Detection and Removal via Iterative Region Dependent Multi-Task Learning.

Wenhan Yang, Robby T. Tan외 4명|arXiv (Cornell University)|2016. 09. 25.

Image Enhancement Techniques참고 문헌 35인용 수 42

한 줄 요약

이 논문은 단일 이미지에서 특히 강우 조건에서의 균일한 빗줄기 탐지 및 제거를 위한 반복 피드백을 갖춘 새로운 다중 작업 딥 러닝 프레임워크를 제안한다. 이는 이진 맵과 확장 컨볼루션을 사용하여 빗줄기와 축적 현상을 별도로 모델링하고, 반복적 정보 피드백 네트워크를 적용하여 밀도가 높고 겹치는 빗줄기와 neblina처럼 보이는 축적 현상을 효과적으로 제거함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In this paper, we address a rain removal problem from a single image, even in the presence of heavy rain and rain accumulation. Our core ideas lie in our new rain image models and a novel deep learning architecture. We first modify the commonly used model, which is a linear combination of a rain streak layer and a background layer, by adding a binary map that locates rain streak regions. Second, we create a model consisting of a component representing rain accumulation (where individual streaks cannot be seen, and thus visually similar to mist or fog), and another component representing various shapes and directions of overlapping rain streaks, which normally happen in heavy rain. Based on the first model, we develop a multi-task deep learning architecture that learns the binary rain streak map, the appearance of rain streaks, and the clean background, which is our ultimate output. The additional binary map is critically beneficial, since its loss function can provide additional strong information to the network. In many cases though, rain streaks can be dense and large in their size, thus to obtain the clean background, we need spatial contextual information. For this, we utilize the dilated convolution. To handle rain accumulation (again, a phenomenon visually similar to mist or fog) and various shapes and directions of overlapping rain streaks, we propose an iterative information feedback (IIF) network that removes rain streaks and clears up the rain accumulation iteratively and progressively. Overall, this multi-task learning and iterative information feedback benefits each other and constitutes a network that is end-to-end trainable. Our extensive evaluation on real images, particularly on heavy rain, shows the effectiveness of our novel models and architecture, outperforming the state-of-the-art methods significantly.

연구 동기 및 목표

• 밀도가 높고 빗줄기가 겹치는 강우 조건에서 단일 이미지의 빗줄기 제거 과제를 해결하기 위해.
• 이진 분할 맵를 통해 빗줄기 영역을 명시적으로 탐지하여 빗줄기 제거 정확도를 향상시키기 위해.
• 확장 컨볼루션을 통해 공간적 문맥 정보를 활용하여 배경 복원 성능을 향상시키기 위해.
• 반복적 정보 피드백 메커니즘을 사용하여 예측을 점진적으로 개선함으로써 빗줄기를 점진적으로 제거하기 위해.
• 빗줄기 영역 탐지, 외관 모델링, 청소된 배경 복원을 동시에 최적화하는 엔드 투 엔드 훈련 가능한 아키텍처를 개발하기 위해.

제안 방법

• 이미지를 세 가지 구성요소로 분리하는 수정된 이미지 분해 모델을 도입: 이진 빗줄기 맵, 빗줄기 외관 층, 청소된 배경 층.
• 개별 빗줄기와는 별개로 빗줄기 축적을 위한 구성요소를 통합하여 시각적으로 neblina처럼 보이는 빗줄기 효과를 모델링한다.
• 공유된 특징 표현을 사용하여 동시에 이진 빗줄기 맵, 빗줄기 외관, 청소된 배경을 예측하는 다중 작업 학습 프레임워크를 적용한다.
• 장거리 공간적 문맥을 캡처하기 위해 확장 컨볼루션을 사용하여 강우 지역에서 배경 복원 성능을 향상시킨다.
• 여러 단계에 걸쳐 피드백 특징을 제공함으로써 점진적으로 빗줄기 제거를 개선하는 반복적 정보 피드백(IIF) 네트워크를 설계한다.
• 이진 맵의 손실을 강력한 감독 신호로 활용하여 특징 학습 및 탐지 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 이진 맵를 통한 빗줄기 영역의 명시적 모델링이 단일 이미지 빗줄기 제거 네트워크의 성능 향상에 기여하는가?
• RQ2 딥 러닝 모델이 통합된 프레임워크에서 겹치는 빗줄기와 빗줄기 축적( neblina 효과)을 얼마나 효과적으로 처리할 수 있는가?
• RQ3 빈도에 따라 반복적으로 예측을 개선하는 빗줄기 제거 예측의 향상이 최종 청소된 이미지 품질에 얼마나 기여하는가?
• RQ4 탐지, 외관, 배경 복원을 위한 공유된 특징을 갖는 다중 작업 학습이 단일 작업 접근법보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 제안된 방법은 실제 강우 조건의 이미지에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 실제 강우 조건의 이미지에서 기존 최신 기술 수준의 접근법을 초월하여 뛰어난 시각적 및 정량적 성능을 보여준다.
• 감독 태스크로 이진 빗줄기 맵를 포함시킴으로써 탐지 정확도와 특징 학습이 크게 향상되어 전체 성능 향상에 기여한다.
• 반복적 정보 피드백 메커니즘이 빗줄기와 축적 현상을 점진적으로 제거함으로써 더 깔끔한 배경 복원을 가능하게 한다.
• 확장 컨볼루션은 공간적 문맥을 효과적으로 캡처하여 빗줄기 영향을 받은 영역에서의 잡음 감소 및 배경 복원 품질 향상에 기여한다.
• 공유된 특징을 갖는 다중 작업 아키텍처는 엔드 투 엔드 훈련이 가능하며 다양한 빗줄기 패atters에 대해 더 나은 일반화 성능을 달성한다.
• 밀도가 높고 겹치는 빗줄기, 그리고 neblina처럼 보이는 빗줄기 축적에 대해 강건한 성능을 보이며, 이는 이전 방법에 비해 도전적인 과제이다.