[논문 리뷰] Semi-Supervised Image Deraining using Gaussian Processes

Rajeev Yasarla, Vishwanath A. Sindagi외 1명|arXiv (Cornell University)|2020. 09. 25.

Image Enhancement Techniques참고 문헌 56인용 수 5

한 줄 요약

이 논문은 합성 데이터 외에 레이블이 없는 실세계 이미지를 활용하여 일반화 능력을 향상시키는 가우시안 프로세스 기반의 준지도 학습 프레임워크를 제안한다. 레이블이 없는 데이터의 잠재 공간 특징을 GPs로 모델링하여 가짜 정답 지도를 생성함으로써, 합성 데이터로만 훈련된 완전 지도 학습보다 뛰어난 성능을 달성하고 기존 준지도 학습 방법들을 능가한다.

ABSTRACT

Recent CNN-based methods for image deraining have achieved excellent performance in terms of reconstruction error as well as visual quality. However, these methods are limited in the sense that they can be trained only on fully labeled data. Due to various challenges in obtaining real world fully-labeled image deraining datasets, existing methods are trained only on synthetically generated data and hence, generalize poorly to real-world images. The use of real-world data in training image deraining networks is relatively less explored in the literature. We propose a Gaussian Process-based semi-supervised learning framework which enables the network in learning to derain using synthetic dataset while generalizing better using unlabeled real-world images. More specifically, we model the latent space vectors of unlabeled data using Gaussian Processes, which is then used to compute pseudo-ground-truth for supervising the network on unlabeled data. Through extensive experiments and ablations on several challenging datasets (such as Rain800, Rain200L and DDN-SIRR), we show that the proposed method is able to effectively leverage unlabeled data thereby resulting in significantly better performance as compared to labeled-only training. Additionally, we demonstrate that using unlabeled real-world images in the proposed GP-based framework results

연구 동기 및 목표

• 합성 데이터로만 완전히 레이블링된 데이터로 훈련된 CNN 기반의 빗물기반 정제 모델의 낮은 일반화 능력을 해결하기 위해.
• 실세계 비 오는 이미지에서의 성능을 향상시키기 위해 레이블이 없는 실세계 데이터를 효과적으로 활용하기 위해.
• 잔차 모델링에 파라미터 기반 모델(예: 혼합 정규분포 모델)에 의존하는 기존 준지도 학습 방법의 한계를 극복하기 위해.
• 잠재 공간에서 가우시안 프로세스를 사용해 비모수적이고 강건한 가짜 정답 생성 방법을 개발하기 위해.
• 최소한의 레이블된 데이터와 풍부한 레이블이 없는 실세계 이미지를 사용해 도메인 간 빗물기반 정제 벤치마크에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 기본 CNN을 사용해 레이블이 있는 합성 데이터에 표준 L1 및 지각적 손실을 적용하여 이미지 빗물기반 정제를 훈련한다.
• 레이블이 없는 실세계 이미지에 대해 잠재 특징 표현을 추출하고, 이를 함께 가우시안 프로세스(GPs)로 모델링한다.
• GPs 모델은 레이블이 있는 데이터와 잠재 공간에서 유사도를 기반으로 레이블이 없는 이미지의 가짜 정답 출력을 예측한다.
• 가짜 정답 예측 결과를 훈련 중 지도로 사용하며, 레이블된 손실과 레이블이 없는 손실을 균형 잡는 가중치 손실 항목($\lambda_{\text{unsup}}$)을 적용한다.
• GPs의 초모수를 업데이트하고 다시 지도를 추정함으로써 반복적으로 가짜 정답 예측을 개선하여 훈련 중 일관성 향상을 이룬다.
• 비모수적 GPs 접근 방식은 잔차 분포에 대한 가정을 피하고 혼합 성분 선택에 민감하지 않음을 보장한다.

실험 결과

연구 질문

• RQ1 비모수적 GPs 기반 방법이 실세계 비 오는 이미지에 대해 레이블이 없는 데이터로부터 신뢰할 수 있는 가짜 정답을 효과적으로 생성할 수 있는가?
• RQ2 GPs 모델링을 통해 레이블이 없는 실세계 데이터를 통합하면 합성 데이터로만 훈련하는 것보다 일반화 능력이 향상되는가?
• RQ3 기존 GMM 기반 준지도 학습 방법과 비교했을 때, 제안된 GPs 기반 준지도 학습 프레임워크는 성능과 강건성 면에서 어떻게 다른가?
• RQ4 커널 유형, 근접 이웃 수, 손실 가중치 등 어떤 초모수가 GPs 기반 빗물기반 정제 프레임워크의 성능에 가장 큰 영향을 미치는가?
• RQ5 이 방법은 도메인 간 일반화가 가능할까? 예를 들어, 합성 데이터로 훈련하고 다양한 실세계 데이터셋에서 테스트하는 경우에 적용 가능한가?

주요 결과

• DIDMDN(레이블 있음)과 DDN(레이블 없음)을 사용해 훈련했을 때, DDN 데이터셋에서 PSNR 27.47 dB, SSIM 0.853을 달성하여 베이스라인 및 기존 준지도 학습 방법을 능가한다.
• 정성적 결과에서 빗줄기의 가시성이 감소하여 Syn2Real++ 및 기타 베이스라인 대비 더 깔끔하고 선명한 빗물기반 정제 이미지를 생성한다.
• GPs 모델링에 선형 커널을 사용할 경우 더 복잡한 커널(SER, RQ)과 유사한 성능을 보이며, 단순성과 낮은 계산 비용이라는 추가 이점이 있다.
• GPs 추론에 최적의 근접 이웃 수는 $N_n = 32$이며, 이로 인해 최고의 PSNR를 달성하며, $N_n = 16$에서 $64$ 사이에서도 성능이 안정적이다.
• 최적의 비지도 손실 가중치는 $\lambda_{\text{unsup}} = 1.5 \times 10^{-3}$이며, 레이블된 손실과 비레이블된 손실을 효과적으로 균형 잡는다.
• 오라클(레이블이 없는 데이터로 완전히 지도 학습한 경우)에 가까운 성능을 달성하여, 도메인 간 평가에서 강력한 일반화 능력을 입증한다.