[논문 리뷰] Learning Deep CNN Denoiser Prior for Image Restoration

Kai Zhang, Wangmeng Zuo외 2명|arXiv (Cornell University)|2017. 04. 11.

Image and Signal Denoising Methods참고 문헌 54인용 수 127

한 줄 요약

본 논문은 빠른 CNN 디노이저를 학습시키고 이를 모듈식 priors로 모델 기반 최적화에 접목시켜(HQS/ADMM를 통해) 다양한 이미지 복원 작업을 해결하며, 작업별 재학습 없이도 노이즈 제거에서 경쟁력 있는 성능과 디블러링 및 단일 이미지 초해상도에서 향상된 성능을 달성한다.

ABSTRACT

Model-based optimization methods and discriminative learning methods have been the two dominant strategies for solving various inverse problems in low-level vision. Typically, those two kinds of methods have their respective merits and drawbacks, e.g., model-based optimization methods are flexible for handling different inverse problems but are usually time-consuming with sophisticated priors for the purpose of good performance; in the meanwhile, discriminative learning methods have fast testing speed but their application range is greatly restricted by the specialized task. Recent works have revealed that, with the aid of variable splitting techniques, denoiser prior can be plugged in as a modular part of model-based optimization methods to solve other inverse problems (e.g., deblurring). Such an integration induces considerable advantage when the denoiser is obtained via discriminative learning. However, the study of integration with fast discriminative denoiser prior is still lacking. To this end, this paper aims to train a set of fast and effective CNN (convolutional neural network) denoisers and integrate them into model-based optimization method to solve other inverse problems. Experimental results demonstrate that the learned set of denoisers not only achieve promising Gaussian denoising results but also can be used as prior to deliver good performance for various low-level vision applications.

연구 동기 및 목표

• 모델 기반 최적화와 판별적 디노이저를 결합하여 유연하면서도 빠른 이미지 복원을 달성하려는 동기 부여.
• HQ S/ADMM 유형 프레임워크 내에서 priors로 작용할 수 있는 빠른 CNN 디노이저 세트를 학습한다.
• CNN 디노이저 priors가 디노이징, 디블러링, 초해상도(컬러 이미지 포함)에서 성능을 향상시킨다는 것을 보여준다.
• 노이즈 수준 및 컬러 채널 전반에 걸친 디노이저의 실용적 학습 전략을 조사한다.
• 속도-정확도 트레이드오프를 보여주고 최첨단 디노이징 및 복원 방법과 비교한다.

제안 방법

• 하프-제곱 분할(HQS)을 통해 충실도와 규제를 분리하는 denoiser 기반 priors를 가진 MAP 문제로 이미저 복원을 형식화한다.
• 정규화 디노이저 항을 CNN으로 구현된 가우시안 디노이저로 대체한다, 즉 z = Denoiser(x, sqrt(lambda/mu)).
• 수용영역 33x33인 7개의 dilation-convolution 레이어를 갖춘 CNN 디노이저를 설계하고 배치 정규화와 잔차 학습을 사용해 학습을 가속화한다.
• 다중 스텝 HQS 반복을 지원하기 위해 [0,50]의 노이즈 레벨에서 25개의 그레이스케일/컬러 디노이저를 학습한다.
• 경계 인공물을 줄이고 Adam 최적화를 이용한 잔차 학습을 활용하기 위해 작은 학습 패치(예: 35x35)를 사용한다.
• 다시 학습 없이 다양한 역문제(예: 디블러링 및 단일 이미지 초해상도)에서 HQS 내에서 디노이저 priors를 적용한다.

실험 결과

연구 질문

• RQ1 데이터에서 학습된 빠른 CNN 디노이저 세트가 다양한 역문제에 대한 모델 기반 최적화에서 모듈형 priors로 효과적으로 작동할 수 있는가?
• RQ2 HQ S/ADMM 내에서 CNN 기반 디노이저를 통합하는 것이 denoising 품질 및 복원 성능 측면에서 전통적 priors(BM3D, GMM 등)과 비교하여 어떤 차이가 있는가?
• RQ3 색상 처리, 패치 크기, 노이즈 수준 간격 등의 어떤 학습 전략이 이러한 디노이저의 다양한 작업에 대한 실용적 사용을 최적화하는가?
• RQ4 CNN으로 모델링된 컬러 디노이징 priors가 색상 영상 복원에서 그레이스케일 priors에 비해 실질적인 이점을 제공하는가?
• RQ5 제안된 방법이 PSNR 및 속도 측면에서 최첨단 방법들에 비해 디노이징, 디블러링, 초해상도에서 어떤 성능을 보이는가?

주요 결과

• CNN 디노이저가 BSD68에서 회색 디노이징에서 BM3D, WNNM, MLP, TNRD에 비해 PSNR 약 0.2 dB의 이득을 달성한다.
• 컬러 디노이징에서 CBM3D에 대해 제안된 CNN 디노이저가 일관되게 CBM3D보다 우수한 성능을 보인다.
• 디블러링에서 제안된 방법은 테스트된 이미지들에서 IDDBM3D, NCSR, MLP보다 더 높은 PSNR을 달성한다(예: Leaves: 29.78 dB vs. 26.95–28.87 dB).
• 단일 이미지 초해상도에서 제안된 회색 및 컬러 디노이저는 다양한 커널을 재학습 없이 처리하고 경쟁력 있는 PSNR을 달성하며, 비-바이큐빅 저하에서 종종 SRCNN/VDSR을 능가한다; 예를 들어 Set5/Set14의 다양한 커널에서 Proposed_G/C는 강력한 결과를 보인다.
• GPU에서의 빠른 실행 시간을 보여주며(예: Proposed_64에서 크기에 관계없이 0.006–0.146 s로 디노이징), CPU 성능도 경쟁력이 있어 속도-정확도 균형이 우수하다.
• 실험은 HQS에 학습된 디노이저 priors를 통합하면 많은 전통적 priors에 비해 결과물이 선명하고 인공물이 감소하는 복원이 가능함을 시연한다.