[논문 리뷰] Progressive Training of Multi-level Wavelet Residual Networks for Image Denoising

Yali Peng, Yue Cao외 3명|arXiv (Cornell University)|2020. 10. 23.

Image and Signal Denoising Methods참고 문헌 60인용 수 9

한 줄 요약

이 논문은 합성 및 실세계 이미지 노이즈 제거 벤치마크에서 우수한 PSNR 및 SSIM 성능를 기록하면서도 계산 효율성을 유지하며, 다중 수준 웨이블릿 잔차 네트워크의 점진적 훈련(PT-MWRN)을 제안한다. 각 웨이블릿 분해 수준 이후 잔차 블록을 통합하고, 노이즈가 있는 이미지와 정제된 이미지의 웨이블릿 하위대역을 사용하여 스케일별 손실 함수를 적용한다.

ABSTRACT

Recent years have witnessed the great success of deep convolutional neural networks (CNNs) in image denoising. Albeit deeper network and larger model capacity generally benefit performance, it remains a challenging practical issue to train a very deep image denoising network. Using multilevel wavelet-CNN (MWCNN) as an example, we empirically find that the denoising performance cannot be significantly improved by either increasing wavelet decomposition levels or increasing convolution layers within each level. To cope with this issue, this paper presents a multi-level wavelet residual network (MWRN) architecture as well as a progressive training (PTMWRN) scheme to improve image denoising performance. In contrast to MWCNN, our MWRN introduces several residual blocks after each level of discrete wavelet transform (DWT) and before inverse discrete wavelet transform (IDWT). For easing the training difficulty, scale-specific loss is applied to each level of MWRN by requiring the intermediate output to approximate the corresponding wavelet subbands of ground-truth clean image. To ensure the effectiveness of scale-specific loss, we also take the wavelet subbands of noisy image as the input to each scale of the encoder. Furthermore, progressive training scheme is adopted for better learning of MWRN by beigining with training the lowest level of MWRN and progressively training the upper levels to bring more fine details to denoising results. Experiments on both synthetic and real-world noisy images show that our PT-MWRN performs favorably against the state-of-the-art denoising methods in terms both quantitative metrics and visual quality.

연구 동기 및 목표

• 깊은 이미지 노이즈 제거 네트워크를 훈련시키는 데 있어 늘어난 용량에도 불구하고 도전 과제를 해결하기 위해.
• 깊이 또는 너비를 늘릴수록 성능 포화에 빠지는 더 깊은 MWCNN 변종을 극복하기 위해.
• 다중 척도 웨이블릿 기반 네트워크에서 훈련 안정성과 특징 학습을 향상시키기 위해.
• 실세계 이미지 노이즈 제거를 위한 효율적이고 확장 가능한 아키텍처를 개발하기 위해.

제안 방법

• MWCNN의 표준 합성곱 레이어를 이산 웨이블릿 변환(DWT) 이후 및 역웨이블릿 변환(IDWT) 이전에 잔차 블록으로 대체하는 다중 수준 웨이블릿 잔차 네트워크(MWRN)를 제안한다.
• 각 웨이블릿 스케일의 중간 출력을 정제된 웨이블릿 하위대역에 근접하도록 지도하는 스케일별 손실 함수를 도입한다.
• 각 인코더 스케일에 노이즈가 있는 이미지의 웨이블릿 하위대역을 추가 입력으로 사용하며, 높은 수준의 특징과 추가 합성곱 레이어를 통해 통합한다.
• 점진적 훈련 기법을 적용: 가장 낮은 웨이블릿 수준부터 시작하여 점차 상위 수준을 추가하여 세부 정보 복구를 정교화한다.
• 다중 척도 감시를 통해 특징 학습을 향상시키고 깊은 아키텍처에서의 훈련 난이도를 감소시킨다.
• 엔드 투 엔드 훈련과 스케일별 감시를 결합하여 수렴성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중 수준 웨이블릿 프레임워크 내에서 더 깊은 잔차 네트워크가 표준 MWCNN을 초월해 이미지 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 정제된 이미지와 노이즈가 있는 이미지의 웨이블릿 하위대역을 기반으로 한 스케일별 손실이 훈련 안정성과 성능 향상에 기여하는가?
• RQ3 다중 척도 웨이블릿 네트워크의 점진적 훈련이 특징 학습을 향상시키고 성능 저하를 방지할 수 있는가?
• RQ4 실세계 이미지 노이즈 제거 벤치마크에서 제안된 방법이 최신 모델들과 비교해 어떻게 성능을 내는가?
• RQ5 이 아키텍처는 합성 및 실세계 노이즈 유형에 대해 효율적으로 훈련되고 일반화 가능한가?

주요 결과

• DND 벤치마크에서 PT-MWRN은 39.80 dB의 PSNR를 기록하여 테스트된 모든 방법 중 1위를 차지한다.
• SIDD 벤치마크에서 PT-MWRN는 39.80 dB의 PSNR를 기록하여 최상위 방법들 중 3위를 기록했으며, 모델 앙상블이나 GAN 기반 데이터 증강 기법을 사용하지 않았음에도 불구하고 성능을 확보했다.
• 모델은 가장 계산 효율적이며, 256×256 이미지당 추론 시간이 단 38.6 ms에 불과하여 DIDN 및 DHDN와 같은 무거운 모델들을 능가한다.
• 점진적 훈련 기법은 더 깊은 네트워크의 안정적인 학습을 가능하게 하여 표준 깊이 증가 MWCNN 변종에서 관찰되는 성능 저하를 방지한다.
• 노이즈가 있는 웨이블릿 하위대역 입력을 활용한 스케일별 손실은 표준 감시 방식에 비해 성능 향상이著명하며, 특히 다중 척도 특징 학습에서 두드러진다.
• 실세계 노이즈에 대해 잘 일반화되며, 어려운 실세계 노이즈 데이터셋에서 전통적 및 딥러닝 기반 베이스라인들을 모두 능가하는 성능을 기록한다.