[논문 리뷰] Syn2Real Transfer Learning for Image Deraining using Gaussian Processes

Rajeev Yasarla, Vishwanath A. Sindagi외 1명|arXiv (Cornell University)|2020. 06. 10.

Image Enhancement Techniques참고 문헌 32인용 수 4

한 줄 요약

이 논문은 합성 데이터 외에도 실세계의 빗방울 이미지를 포함한 레이블이 없는 데이터를 활용할 수 있도록 하는 가우시안 프로세스 기반의 준지도 학습 프레임워크를 제안한다. 이는 깊이 있는 신경망이 일반화 성능을 향상시키는 데 기여한다. 레이블이 있는 데이터와 없는 데이터의 잠재 특징을 함께 모델링하여 가우시안 프로세스를 통해 가짜 진짜 지도 학습을 생성함으로써, 전체 레이블이 60%인 경우에도 완전한 지도 학습 성능과 유사한 성능을 달성하며, 실세계 비정상 제거 벤치마크에서 기존 최고 성능(SOTA) 방법들을 능가한다.

ABSTRACT

Recent CNN-based methods for image deraining have achieved excellent performance in terms of reconstruction error as well as visual quality. However, these methods are limited in the sense that they can be trained only on fully labeled data. Due to various challenges in obtaining real world fully-labeled image deraining datasets, existing methods are trained only on synthetically generated data and hence, generalize poorly to real-world images. The use of real-world data in training image deraining networks is relatively less explored in the literature. We propose a Gaussian Process-based semi-supervised learning framework which enables the network in learning to derain using synthetic dataset while generalizing better using unlabeled real-world images. Through extensive experiments and ablations on several challenging datasets (such as Rain800, Rain200H and DDN-SIRR), we show that the proposed method, when trained on limited labeled data, achieves on-par performance with fully-labeled training. Additionally, we demonstrate that using unlabeled real-world images in the proposed GP-based framework results in superior performance as compared to existing methods. Code is available at: https://github.com/rajeevyasarla/Syn2Real

연구 동기 및 목표

• 기존의 CNN 기반 제거 모델의 성능을 제한하는 합성 이미지와 실세계 이미지 사이의 도메인 스플릿 문제를 해결하기 위해.
• 실세계 레이블이 없는 이미지를 효과적으로 활용하여 실세계 레이블 데이터 부족 문제를 해결하기 위해.
• 가우시안 혼합 모델(GMM)과 같은 매개변수 가정에 의존하지 않고도 일반화 성능을 향상시킬 수 있는 강건한 준지도 학습 프레임워크를 개발하기 위해.
• 제한된 레이블 데이터에 실세계 레이블이 없는 데이터를 조합함으로써 완전한 지도 학습 성능과 맞먹는 성능을 달성할 수 있는지 입증하기 위해.

제안 방법

• 이 방법은 레이블이 있는 합성 빗방울 이미지에 대해 L1 손실 및 지각 손실을 사용하는 깊이 있는 CNN을 사용한다.
• 레이블이 없는 실세계 이미지의 경우, 레이블이 있는 잠재 특징과 레이블이 없는 잠재 특징을 함께 모델링하는 가우시안 프로세스를 사용하여 잠재 공간에서 가짜 진짜 지도 학습을 추정한다.
• 가우시안 프로세스는 반복적으로 학습되며, 변화하는 특징 표현에 기반하여 레이블이 없는 데이터의 가짜 레이블을 개선한다.
• 프레임워크는 레이블이 있는 데이터에 대한 네트워크 최적화와 레이블이 있는 및 없는 잠재 벡터를 사용한 가우시안 프로세스 사전 분포 업데이트를 번갈아 수행한다.
• 가우시안 프로세스의 비모수적 성격 덕분에 GMM 기반 방법에서처럼 사전에 혼합 성분을 정의할 필요 없이 매개변수 가정을 피한다.
• Rain800, Rain200H, DDN-SIRR 데이터셋에서의 분석 및 비교를 통해 추론 실험과 비교 분석을 통해 레이블이 없는 데이터를 활용할 경우 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 실세계 빗방울 이미지만을 사용하여 준지도 학습 프레임워크가 이미지 제거의 일반화 성능을 효과적으로 향상시킬 수 있는가?
• RQ2 복잡하고 다중 모달적인 빗방울 잔여물 모델링에 있어, GMM 기반 방법과 비교해 가우시안 프로세스 기반의 가짜 레이블 전략은 어떻게 성능을 냈는가?
• RQ3 실세계 데이터를 포함하여 레이블 데이터의 60%만을 사용할 경우, 성능을 유지하거나 향상시킬 수 있는 정도는 어느 정도인가?
• RQ4 기존의 최고 성능(SOTA) 방법들과 비교해 본다면, 제안된 방법이 합성 이미지와 실세계 이미지 사이의 도메인 스플릿 문제를 더 효과적으로 줄일 수 있는가?
• RQ5 가우시안 프로세스 커널 선택 및 정규화와 같은 하이퍼파라미터에 대해 이 방법은 얼마나 민감한가?

주요 결과

• Rain800에서 레이블 데이터의 60%만을 사용하고도 레이블이 없는 데이터를 함께 활용할 경우 PSNR가 23.70 dB를 기록하며, 전체 레이블 데이터를 사용한 완전한 지도 학습의 23.74 dB 성능과 유사하다.
• Rain200H에서 레이블 데이터의 60%와 레이블이 없는 데이터를 사용한 결과 PSNR는 25.26 dB를 기록했고, 이는 100% 레이블 데이터를 사용한 경우의 25.27 dB 성능과 거의 동일하다.
• 레이블 데이터 10%만을 사용할 경우 PSNR가 21.31 dB로 떨어지지만, 레이블이 없는 데이터를 활용하면 PSNR가 22.02 dB로 향상되어 다양한 데이터 분할에서 일관된 성능 향상을 보였다.
• 실세계 데이터셋에서 SIRR [49]보다 PSNR와 SSIM 모두에서 뛰어난 성능을 기록하여 더 뛰어난 일반화 성능을 입증했다.
• 추론 실험을 통해 가우시안 프로세스 기반의 가짜 레이블 전략이 초기 학습 단계에서 GMM 기반 접근보다 더 강건함을 확인했다.
• DDN-SIRR 실세계 벤치마크에서 최고 성능(SOTA)을 기록하며, 실세계 환경에서의 적용 효과성을 입증했다.