[논문 리뷰] From Rain Removal to Rain Generation

Hong Wang, Zongsheng Yue외 3명|arXiv (Cornell University)|2020. 08. 08.

Image Enhancement Techniques참고 문헌 2인용 수 5

한 줄 요약

이 논문은 CNN으로 파arameter화된 변분 추론 프레임워크를 사용하여 비줄기의 고유한 물리적 요소—방향, 척도, 두께—를 학습하는 완전 베이지안 생성 모델을 제안한다. 비 레이어를 암묵적 생성기로 모델링함으로써, 수동으로 수집된 쌍체 데이터에 의존도를 줄이고 자동으로 다양한 비 패치를 생성할 수 있으며, 이는 단일 이미지 비제거 성능을 크게 향상시킨다.

ABSTRACT

Single image deraining is an important yet challenging issue due to the complex and diverse rain structures in real scenes. Currently, the state-of-the-art performance on this task is achieved by deep learning (DL)-based methods that mainly benefit from abundant pre-collected paired rainy-clean samples either manually synthesized or semi-automatically generated under human supervision. This tends to bring a large labor for data collection and more importantly, such manner neglects to elaborately explore the intrinsic generative mechanism of rain streaks which should be related to the most insightful understanding of the task. Against this issue, we investigate the generative process of rainy image and construct a full Bayesian generative model for generating rains from automatically extracted latent variables that represent physical structural factors for depicting rains, like direction, scale, and thickness. To solve this model, we propose an algorithm where the posteriors of latent variables are parameterized as CNNs and all the involved parameters can be inferred under a concise variational inference framework in a data-driven manner. Especially, the rain layer is modeled as an implicit distribution, parameterized as a generator, which avoids subjective prior assumptions on rains as in traditional model-based methods. More practically, from the learned generator, rain patches can be automatically generated and utilized to simulate diverse training pairs so as to enrich and augment the existing benchmark datasets. Comprehensive experiments substantiate that the proposed model has fine capability of generating plausible samples that not only helps significantly improve the deraining performance of current DL-based single image derainers, but also largely loosens the requirement of large training sample pre-collection for the task.

연구 동기 및 목표

• 현재의 딥러닝 기반 비제거 방법이 대량의 수동으로 수집된 쌍체 비-클린 이미지 데이터셋에 크게 의존하는 데서 비롯되는 한계를 해결하기 위해.
• 방향, 척도, 두께와 같은 물리적 구조적 요소를 모델링하여 비줄기의 고유한 생성 메커니즘을 규명하기 위해.
• 비 패턴에 대한 주관적인 사전 가정 없이 데이터 기반의 종단간 프레임워크를 개발하여 현실적인 비 패치를 생성하기 위해.
• 기존 벤치마크 데이터셋에 생성된 비 패치를 활용하여 기존의 비제거 모델 성능을 향상시키기 위해.

제안 방법

• 비줄기를 잠재 변수를 통해 물리적 특성(예: 방향, 척도, 두께)을 인코딩하는 방식으로 표현하는 완전 베이지안 생성 모델을 구축한다.
• 이 잠재 변수의 사후분포를 변형 신경망(CNN)을 사용해 파arameter화하여 변분 추론 프레임워크 내에서 효율적인 추론을 가능하게 한다.
• 비 레이어를 생성기 네트워크를 통해 암묵적 분포로 모델링함으로써, 전통적인 모델 기반 접근 방식에서 흔히 볼 수 있는 명시적 파라미터 가정이 필요 없도록 한다.
• 모든 파라미터가 변분 추론를 통해 데이터 기반 방식으로 추론되는 종단간 훈련이 가능한 모델을 구성한다.
• 훈련된 생성기에서 비 패치를 합성하고, 이를 활용해 다양한 현실적인 훈련 쌍을 생성한다.
• 수동으로 레이블이 붙지 않은 감독 없이도 새로운 타당한 비 이미지를 자동으로 생성함으로써 데이터 증강을 지원한다.

실험 결과

연구 질문

• RQ1 비줄기의 고유한 물리적 생성 과정을 어떻게 모델링하여 현실적인 비 합성을 가능하게 할 수 있는가?
• RQ2 CNN으로 파arameter화된 사후분포를 갖는 데이터 기반의 베이지안 프레임워크가 수작업으로 만든 사전 가정 없이도 효과적으로 잠재 비 요소를 추론할 수 있는가?
• RQ3 자동으로 생성된 비 패치가 기존 딥러닝 기반 비제거 모델의 성능을 어느 정도 향상시킬 수 있는가?
• RQ4 제안된 방법은 대규모 수동 수집 쌍체 비-클린 데이터셋에 대한 의존도를 어떻게 줄이는가?
• RQ5 합성된 비 데이터를 사용할 경우 비제거 네트워크의 일반화 능력과 견고성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 실제 비줄기의 구조와 다양성과 매우 유사한 매우 현실적인 비 패치를 생성한다.
• 생성된 비 패치는 벤치마크 데이터셋에서 최신 딥러닝 모델의 비제거 성능을 크게 향상시킨다.
• 합성된 비 생성을 통해 대규모 수동 수집 쌍체 훈련 데이터의 필요성을 줄이며 효과적인 데이터 증강을 가능하게 한다.
• 암묵적 생성기 모델은 비 패턴에 대한 고정된 파라미터 가정에 의존하는 전통적 방법보다 성능이 뛰어나다.
• 변분 추론 프레임워크는 종단간 미분 가능성을 보장하며 효율적이고 확장 가능한 훈련을 지원하여 실용적 구현이 가능하다.
• 실험 결과는 증강된 데이터로 훈련된 모델이 원본 데이터셋만으로 훈련된 모델보다 뛰어난 성능을 달성함을 입증한다.