[논문 리뷰] Semi-supervised CNN for Single Image Rain Removal.

Wei Wei, Deyu Meng외 2명|arXiv (Cornell University)|2018. 07. 29.

Image Enhancement Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 학습 중에 레이블이 붙은 비-클린 이미지 쌍과 레이블이 없는 비 이미지를 모두 활용하는 반감독형 CNN을 제안한다. 입력된 비 이미지와 네트워크 출력 간 잔차를 패치 단위의 혼합 정규분포(Mixture of Gaussians)로 모델링함으로써, 지도 학습 및 비지도 학습 손실을 결합하여 희소한 클린 이미지 쌍에 대한 의존도를 줄이고, 알려지지 않은 비 유형으로의 일반화 능력을 향상시킨다.

ABSTRACT

Single image rain removal is a typical inverse problem in computer vision. The deep learning technique has been verified to be effective to this task and achieved state-of-the-art performance. However, the method needs to pre-collect a large set of image pairs with/without rains for training, which not only makes the method laborsome to be practically implemented, but also tends to make the trained network bias to the training samples while less generalized to test samples with unseen rain types in training. To this issue, this paper firstly proposes a semisupervised learning paradigm to this task. Different from traditional deep learning methods which use only supervised image pairs with/without rains, we put the real rainy images, without need of their clean ones, into the network training process as well. This is realized by elaborately formulating the residual between an input rainy image and its expected network output (clear image without rains) as a concise patch-wised Mixture of Gaussians distribution. The entire objective function for training network is thus the combination of the supervised data loss (least square loss between input clear image and the network output) and the unsupervised data loss. In this way, all such unsupervised rainy images, which is much easier to collect than supervised ones, can be rationally fed into the network training process, and thus both the short-of-training-sample and bias-to-supervised-sample issues can be evidently alleviated. Experiments implemented on synthetic and real data experiments verify the superiority of our model as compared to the state-of-the-arts.

연구 동기 및 목표

• 단일 이미지 비 제거에서 깊이 학습 모델을 훈련하기 위한 쌍화된 비-클린 이미지 데이터셋의 가용성 부족 문제를 해결한다.
• 지도 학습 데이터에 포함된 특정 비 유형에 대한 모델 편향을 줄이기 위해 훈련 중에 레이블이 없는 비 이미지를 통합한다.
• 쌍화된 클린 이미지가 필요 없는 실제 비 이미지의 풍부한 자료를 활용하여 알려지지 않은 비 패턴으로의 일반화 능력을 향상시킨다.
• 최소한의 인간 레이블링 데이터로도 성능을 향상시키기 위해 지도 학습과 비지도 학습을 결합한 훈련 프레임워크를 개발한다.

제안 방법

• 입력된 비 이미지와 네트워크의 예측 클린 출력 간 잔차를 패치 단위의 혼합 정규분포(MoG) 분포로 수식화한다.
• 지상 진실 클린 이미지가 없는 레이블이 없는 비 이미지에서 MoG 분포를 기반으로 한 비지도 데이터 손실을 도입하여 훈련한다.
• 예측값과 지상 진실 클린 이미지 간의 최소 제곱 손실을 지도 학습 손실으로 사용하고, 이를 비지도 손실과 결합하여 네트워크를 엔드 투 엔드로 훈련한다.
• MoG 모델을 사용해 입력된 비 이미지에 대해 네트워크 출력의 가능도를 추정함으로써, 레이블이 없는 데이터로부터 자기 지도 학습(self-supervision)을 가능하게 한다.
• 지도 학습 및 비지도 학습 구성 요소를 동시에 최적화하는 공동 목표 함수를 사용해 CNN을 훈련한다.
• MoG의 통계적 성질을 활용해, 쌍화된 클린 레이블이 없더라도 클린 이미지 표현을 학습하도록 네트워크를 이끌 수 있다.

실험 결과

연구 질문

• RQ1 쌍화된 클린 이미지가 없는 레이블이 없는 비 이미지를 효과적으로 활용하여 비 제거 네트워크를 훈련시킬 수 있는가?
• RQ2 패치 단위의 혼합 정규분포를 통한 비지도 학습을 통합함으로써, 알려지지 않은 비 유형으로의 모델 일반화 능력이 향상되는가?
• RQ3 제안된 반감독형 접근법이 대규모 레이블이 붙은 비-클린 이미지 쌍에 대한 의존도를 어느 정도 줄이는가?
• RQ4 지도 학습 및 비지도 학습 손실의 공동 최적화가 합성 및 실세계 비 제거 벤치마크에서 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 반감독형 방법은 합성 및 실세계 비 이미지 데이터셋에서 최신 기술 대비 뛰어난 성능을 달성한다.
• 다양한 레이블이 없는 비 이미지를 훈련에 포함시킴으로써, 알려지지 않은 비 유형으로의 일반화 능력이 향상됨을 보여준다.
• 비지도 손실 구성 요소가 지상 진실 클린 이미지가 없는 상황에서도 의미 있는 클린 이미지 표현을 학습하도록 네트워크를 효과적으로 이끈다.
• 대규모 레이블이 붙은 비-클린 이미지 쌍이 필요한 양을 줄여, 실세계 적용에 더 실용적이게 된다.
• 실험 결과, 지도 학습 및 비지도 학습 손실의 공동 훈련이 더 견고하고 정확한 비 제거 결과를 이끌어냄을 확인했다.
• 잔차에 대한 혼합 정규분포 수식화가 효과적인 자기 지도 학습을 가능하게 하여, 실세계 테스트 이미지에서의 모델 성능을 향상시켰다.