[논문 리뷰] Semi-supervised Transfer Learning for Image Rain Removal

Wei Wei, Deyu Meng외 3명|arXiv (Cornell University)|2018. 07. 29.

Image Enhancement Techniques인용 수 43

한 줄 요약

본 논문은 비지도 학습용 실제 강우 이미지를 감독된 합성 페어와 함께 사용하는 단일 이미지 강우 제거를 위한 반지도 전이 학습 프레임워크를 제시하고, 잔여 강우를 매개변수 분포로 모델링하며 CNN을 이용한 EM으로 최적화한다.

ABSTRACT

Single image rain removal is a typical inverse problem in computer vision. The deep learning technique has been verified to be effective for this task and achieved state-of-the-art performance. However, previous deep learning methods need to pre-collect a large set of image pairs with/without synthesized rain for training, which tends to make the neural network be biased toward learning the specific patterns of the synthesized rain, while be less able to generalize to real test samples whose rain types differ from those in the training data. To this issue, this paper firstly proposes a semi-supervised learning paradigm toward this task. Different from traditional deep learning methods which only use supervised image pairs with/without synthesized rain, we further put real rainy images, without need of their clean ones, into the network training process. This is realized by elaborately formulating the residual between an input rainy image and its expected network output (clear image without rain) as a specific parametrized rain streaks distribution. The network is therefore trained to adapt real unsupervised diverse rain types through transferring from the supervised synthesized rain, and thus both the short-of-training-sample and bias-to-supervised-sample issues can be evidently alleviated. Experiments on synthetic and real data verify the superiority of our model compared to the state-of-the-arts.

연구 동기 및 목표

• 합성 비와 실제 비 데이터 간의 차이를 해소하기 위해 단일 이미지 강우 제거(SIRR)에서 도메인 전이를 촉진한다.
• 훈련 중 비지도 실제 강우 이미지를 활용하는 반지도 프레임워크를 제안한다.
• 잔여 강우를 매개변수화된 분포로 형식화하고 이를 공동 학습 목표에 통합한다.
• 네트워크와 강우 분포 매개변수를 함께 학습하기 위한 EM 기반 최적화 스킴을 개발한다.

제안 방법

• 합성 강우-청정 쌍에 대한 감독된 최소제곱 손실과 실제 비 이미지에 대한 비지도 MAP 손실을 매개변수화된 강우 분포를 통해 결합한다.
• 강우를 제로 평균 가우시안으로 다모드 강우 패턴을 포착하기 위해 가우시안 혼합 모델로 모델링한다.
• 합성 강우와 실제 강우 분포 간의 KL 발산 제약을 적용하여 도메인 정렬을 촉진한다.
• 배경에 총변화(TV) 정규화를 도입하여 잔류 잡음을 억제하고 구조를 보존한다.
• 삼계 기대 최대화(EM) 알고리즘으로 구성 요소의 책임도를 추정하고 네트워크 및 GMM 매개변수를 반복적으로 업데이트한다.
• 감독 및 비지도 항 모두로부터 역전파되는 그래디언트를 사용하여 엔드투엔드 학습에 Adam 옵티마이저를 채택한다.

실험 결과

연구 질문

• RQ1 실제 비지도 학습용 강우 이미지를 사용한 반지도 학습이 순수 감독 모델에 비해 실제 강우에 대한 일반화를 개선할 수 있는가?
• RQ2 실제 강우 데이터로부터 비지도 학습을 가능하게 하기 위해 잔여 강우를 어떻게 효과적으로 모델링할 수 있는가?
• RQ3 매개변수화된 분포를 통해 합성 강우에서 실제 강우로의 전이가 SIRR의 도메인 바이어스를 줄이는가?
• RQ4 감독 손실과 비지도 손실을 결합하는 것이 강우 제거 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 반지도 모델은 합성 강우에서 실제 강우 패턴으로의 전이가 완전 감독 기반보다 더 잘 수행된다.
• 실제 강우 잔류를 모델링하기 위해 3성분 GMM을 사용하면 강우 제거에 효과적인 비지도 학습 신호를 얻는다.
• 본 방법은 합성 데이터에서 밀집 및 희박한 강우 시나리오 모두에서 최첨단 방법보다 우수한 PSNR을 달성한다.
• 실제 강우 이미지에서 제안 방법은 경쟁 방법에 비해 더 많은 비 줄기를 제거하면서 이미지 구조를 보존한다.
• EM 기반 최적화가 학습 중 네트워크 매개변수와 GMM 강우 분포를 성공적으로 업데이트한다.