[논문 리뷰] GRDN:Grouped Residual Dense Network for Real Image Denoising and GAN-based Real-world Noise Modeling

Dong-Wook Kim, Jae Ryun Chung외 1명|arXiv (Cornell University)|2019. 05. 27.

Image and Signal Denoising Methods참고 문헌 29인용 수 13

한 줄 요약

이 논문은 이미지 복원을 위한 GAN 기반 실세계 노이즈 모델링 방법을 갖춘 그룹화된 잔차 밀집 신경망인 GRDN을 제안한다. 그룹화된 잔차 밀집 블록과 적대적 노이즈 합성 기법을 활용하여 GRDN은 최신 기술 수준의 성능을 달성하였으며, NTIRE2019 sRGB 벤치마크에서 39.93 dB PSNR와 0.9736 SSIM를 기록하여 이전 방법들을 능가하였다.

ABSTRACT

Recent research on image denoising has progressed with the development of deep learning architectures, especially convolutional neural networks. However, real-world image denoising is still very challenging because it is not possible to obtain ideal pairs of ground-truth images and real-world noisy images. Owing to the recent release of benchmark datasets, the interest of the image denoising community is now moving toward the real-world denoising problem. In this paper, we propose a grouped residual dense network (GRDN), which is an extended and generalized architecture of the state-of-the-art residual dense network (RDN). The core part of RDN is defined as grouped residual dense block (GRDB) and used as a building module of GRDN. We experimentally show that the image denoising performance can be significantly improved by cascading GRDBs. In addition to the network architecture design, we also develop a new generative adversarial network-based real-world noise modeling method. We demonstrate the superiority of the proposed methods by achieving the highest score in terms of both the peak signal-to-noise ratio and the structural similarity in the NTIRE2019 Real Image Denoising Challenge - Track 2:sRGB.

연구 동기 및 목표

• 실세계 노이즈 이미지와 정제된 이미지의 쌍이 부족한 상황에서 실세계 이미지 복원 문제를 해결한다.
• 기존 통계 모델보다 더 현실적인 노이즈 모델링 방법을 개발하여 딥러닝 기반 이미지 복원 성능을 향상시킨다.
• 계층적 잔차 밀집 블록을 통해 특징 학습과 복원 성능을 향상시키기 위해 새로운 네트워크 아키텍처인 GRDN을 설계한다.
• 실세계 데이터셋과 GAN으로 생성한 합성 노이즈를 조합하여 모델의 일반화 능력을 향상시킬 수 있음을 입증한다.
• NTIRE2019 실세계 이미지 복원 챌린지 - 트랙 2:sRGB에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 더 나은 특징 재사용을 위해 그룹 컨볼루션을 도입한 그룹화된 잔차 밀집 블록(GRDB)을 건축 요소로 제안하며, 이는 잔차 밀집 네트워크(RDN)의 확장이다.
• 특징 전파와 학습을 향상시키기 위해 스케일 연결과 주의 모듈을 갖춘 다수의 GRDB를 연결하여 GRDN을 구성한다.
• 실세계 노이즈 이미지에서 실제적인 노이즈 패치를 생성하기 위해 조건부 GAN 기반의 노이즈 모델링 방법(cERGAN)을 개발한다.
• ChDB 데이터셋에서 실세계 노이즈의 분포를 학습하여 cERGAN을 활용해 추가적인 훈련 데이터를 합성한다.
• 모델의 강건성을 향상시키기 위해 실제 ChDB 데이터와 cERGAN, 통계 모델에서 유도된 합성 데이터의 조합을 사용해 GRDN 모델을 훈련시킨다.
• 한정된 실세계 데이터셋 크기 외부로 일반화 능력을 향상시키기 위해 cERGAN을 활용한 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 기존의 CNN 기반 방법과 비교해 그룹화된 잔차 밀집 네트워크 아키텍처가 실세계 이미지 복원 성능을 크게 향상시킬 수 있는가?
• RQ2 기존의 통계 모델(예: 가우시안-포아송)보다 GAN 기반 노이즈 모델링이 더 현실적인 노이즈 패턴을 생성할 수 있는가?
• RQ3 실세계 데이터와 GAN으로 생성한 합성 노이즈를 조합함으로써 모델의 일반화 능력과 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 GRDN 아키텍처가 NTIRE2019와 같은 실세계 이미지 복원 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 제안된 방법은 실세계 데이터에서 BM3D와 같은 고전적 방법 및 다른 최신 기술 수준의 학습 기반 모델과 비교해 어떤 성능을 보이는가?

주요 결과

• GRDN은 NTIRE2019 sRGB 테스트 세트에서 최고의 PSNR 39.931743 dB와 SSIM 0.973589를 기록하여 챌린지에서 1위를 차지하였다.
• 두 번째로 우수한 방법보다 PSNR에서 0.05 dB 높은 성능을 기록하여 실세계 복원에서 뚜렷한 성능 격차를 확보하였다.
• cERGAN로 생성한 합성 데이터를 사용한 훈련은 모델 수렴과 성능 안정성 향상에 기여하였으며, 특히 실재 데이터와 병행 시 효과가 뚜렷하였다.
• cERGAN로 생성한 데이터만으로 훈련한 PSNR는 38.63 dB였으며, 이는 실 ChDB 데이터만으로 훈련한 경우(39.62 dB)보다 열 劣하므로 실 데이터의 필수성이 확인되었다.
• 실 ChDB 데이터(90%)와 cERGAN에서 유도한 합성 데이터(5%), 통계 모델에서 유도한 합성 데이터(5%)를 조합한 결과 PSNR는 39.64 dB를 기록하여 실 데이터만 사용한 기준 결과를 略로 초월하였다.
• 제거 실험을 통해 cERGAN 기반 노이즈 모델링이 [10]에서 제안한 통계 모델보다 높은 PSNR 성능을 보여, 훈련 및 추론 단계에서의 우수성을 입증하였다.