[논문 리뷰] Unsupervised Image Noise Modeling with Self-Consistent GAN

Hanshu Yan, Chen, Xuan외 4명|arXiv (Cornell University)|2019. 06. 13.

Image and Signal Denoising Methods참고 문헌 31인용 수 12

한 줄 요약

이 논문은 단일 노이즈 이미지에서 정제된 이미지 쌍이 필요 없이 노이즈 맵을 추출할 수 있는 비지도 학습 프레임워크인 Self-Consistent GAN (SCGAN)을 제안한다. 청소된 입력 일致성, 순수 노이즈 일치성, 재구성 일치성의 세 가지 자기 일致성 제약 조건을 도입함으로써, 빈도 없는 노이즈 제거, 우레기 줄무늬 제거, 노이즈가 있는 이미지의 초해상도 분석에 대한 엔드 투 엔드 학습이 가능해지며, 완전히 지도 학습된 방법과 비교해도 우수한 성능을 달성한다.

ABSTRACT

Noise modeling lies in the heart of many image processing tasks. However, existing deep learning methods for noise modeling generally require clean and noisy image pairs for model training; these image pairs are difficult to obtain in many realistic scenarios. To ameliorate this problem, we propose a self-consistent GAN (SCGAN), that can directly extract noise maps from noisy images, thus enabling unsupervised noise modeling. In particular, the SCGAN introduces three novel self-consistent constraints that are complementary to one another, viz.: the noise model should produce a zero response over a clean input; the noise model should return the same output when fed with a specific pure noise input; and the noise model also should re-extract a pure noise map if the map is added to a clean image. These three constraints are simple yet effective. They jointly facilitate unsupervised learning of a noise model for various noise types. To demonstrate its wide applicability, we deploy the SCGAN on three image processing tasks including blind image denoising, rain streak removal, and noisy image super-resolution. The results demonstrate the effectiveness and superiority of our method over the state-of-the-art methods on a variety of benchmark datasets, even though the noise types vary significantly and paired clean images are not available.

연구 동기 및 목표

• 청결한-노이즈 이미지 쌍이 존재하지 않는 환경에서 비지도 이미지 노이즈 모델링의 과제를 해결하기 위해.
• 쌍이 없는 데이터로 인한 심각한 데이터 부족과 GAN 기반 노이즈 모델링의 학습 불안정성 문제를 극복하기 위해.
• 노이즈 통계에 대한 사전 지식이 필요 없이 다양한 노이즈 유형으로 일반화 가능한 노이즈 모델링 프레임워크를 개발하기 위해.
• 청결한 이미지와 노이즈가 있는 이미지 쌍이 없는 상태에서, 빈도 없는 노이즈 제거, 우레기 줄무늬 제거, 노이즈가 있는 이미지 초해상도 분석 등의 후행 작업을 위한 엔드 투 엔드 학습을 가능하게 하기 위해.
• 학습된 노이즈 모델링을 통해 비지도로 우레기 줄무늬 제거 및 노이즈가 있는 이미지 초해상도 분석을 수행할 수 있는 첫 번째 접근법을 입증하기 위해.

제안 방법

• 노이즈 이미지에서 노이즈 맵을 추출하고 추정된 청결한 이미지를 생성하는 생성자 G를 갖는 자기 일치 GAN (SCGAN) 아키텍처를 제안한다.
• 세 가지 새로운 자기 일치 손실 함수를 도입한다: 청결 입력 일치 손실 (G(J_c) ≈ 0), 순수 노이즈 일치 손실 (G(G(I_n)) ≈ G(I_n)), 재구성 일치 손실 (G(J_c + G(I_n)) ≈ G(I_n)).
• 생성자를 적대적 손실과 세 가지 자기 일치 손실의 조합을 사용하여 강력하고 안정적인 노이즈 추출을 보장한다.
• 추출된 노이즈 맵을 사용하여, 청결한 이미지에 노이즈 맵을 더함으로써 (노이즈, 청결) 이미지 쌍을 합성한 훈련 데이터를 생성한다.
• 합성된 쌍 데이터를 활용하여, 빈도 없는 노이즈 제거, 우레기 줄무늬 제거, 노이즈가 있는 이미지 초해상도 분석에 대해 엔드 투 엔드 방식으로 후행 모델을 훈련시킨다.
• 일致성 제약 조건을 활용하여, 쌍이 없는 지도 학습이 없는 상황에서도 학습 안정성과 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 쌍이 없는 청결한 데이터가 없이도 딥 생성 모델이 단일 노이즈 이미지에서 의미 있는 노이즈 맵을 추출할 수 있는가?
• RQ2 자기 일치 제약 조건은 GAN에서 비지도 노이즈 모델링의 학습 안정성과 성능을 어떻게 향상시킬 수 있는가?
• RQ3 SCGAN을 통한 비지도 노이즈 모델링은 다양한 노이즈 유형과 이미지 복원 작업에 얼마나 잘 일반화되는가?
• RQ4 SCGAN에서 합성된 쌍 데이터는 후행 모델의 엔드 투 엔드 학습을 가능하게 하여 완전히 지도 학습된 방법과 동등한 성능을 달성할 수 있는가?
• RQ5 노이즈 맵 추출과 데이터 합성만으로 비지도로 우레기 줄무늬 제거 및 노이즈가 있는 이미지 초해상도 분석을 수행하는 것이 가능한가?

주요 결과

• SCGAN은 쌍이 없는 훈련 데이터가 없더라도 다양한 노이즈 유형에서 노이즈 맵을 성공적으로 추출한다.
• 세 가지 자기 일치 손실은 학습 안정성과 노이즈 맵 품질을 크게 향상시키며, 잡음 기반 오류 및 배경 관련 노이즈 오분류를 감소시킨다.
• 제거 분석 결과, 모든 세 가지 자기 일치 손실을 조합한 모델 (Net-3) 이 가장 균일하고 정확한 노이즈 맵을 생성하며, 적대적 손실이나 부분적 손실만을 사용한 모델보다 성능이 뛰어나다.
• SCGAN에서 합성된 쌍 데이터를 활용하면, 빈도 없는 노이즈 제거, 우레기 줄무늬 제거, 노이즈가 있는 이미지 초해상도 분석에서 완전히 지도 학습된 모델과 비교해도 유사한 성능을 달성할 수 있다.
• 빈도 없는 노이즈 제거에서는, 합성된 패치에서 다양한 노이즈 강도를 무작위로 자르는 방식 덕분에 다양한 노이즈 수준에서 잘 일반화된다.
• 노이즈가 있는 이미지 초해상도 분석에서는, SCGAN을 통한 엔드 투 엔드 학습이 두 단계로 나누어진 Dn+SR 파이프라인에서 흔히 발생하는 노이즈 누적과 세부 정보 손실 문제를 피하여 뛰어난 성능을 내는 것으로 나타났다.