[논문 리뷰] Invertible Denoising Network: A Light Solution for Real Noise Removal

Yang Liu, Zhenyue Qin외 5명|arXiv (Cornell University)|2021. 04. 21.

Image and Signal Denoising Methods참고 문헌 52인용 수 10

한 줄 요약

이 논문은 잡음이 포함된 입력을 저해상도의 청소년 이미지와 잡음이 포함된 잠재 표현으로 분리하는 가역성 있는 노이즈 제거 네트워크인 InvDN을 제안한다. 복원 과정에서 노이즈가 포함된 잠재 코드를 사전 분포에서 샘플링한 것으로 교체함으로써, InvDN은 파라미터 수의 4.2%로 기존 모델보다 더 빠른 추론 속도를 기록하면서도 SIDD 데이터셋에서 최신 기술 수준(SOTA)의 노이즈 제거 성능을 달성하였으며, 동시에 고해상도의 노이즈 생성도 가능하다.

ABSTRACT

Invertible networks have various benefits for image denoising since they are lightweight, information-lossless, and memory-saving during back-propagation. However, applying invertible models to remove noise is challenging because the input is noisy, and the reversed output is clean, following two different distributions. We propose an invertible denoising network, InvDN, to address this challenge. InvDN transforms the noisy input into a low-resolution clean image and a latent representation containing noise. To discard noise and restore the clean image, InvDN replaces the noisy latent representation with another one sampled from a prior distribution during reversion. The denoising performance of InvDN is better than all the existing competitive models, achieving a new state-of-the-art result for the SIDD dataset while enjoying less run time. Moreover, the size of InvDN is far smaller, only having 4.2% of the number of parameters compared to the most recently proposed DANet. Further, via manipulating the noisy latent representation, InvDN is also able to generate noise more similar to the original one. Our code is available at: https://github.com/Yang-Liu1082/InvDN.git.

연구 동기 및 목표

• 입력(잡음이 있는 이미지)과 출력(청결한 이미지)이 서로 다른 분포를 따르는 실세계 이미지 노이즈 제거에 가역성 네트워크를 적용하는 데 도전하는 것.
• 정보 손실을 방지하면서도 잠재 공간 조작을 통해 효과적인 노이즈 제거가 가능한 가역 아키텍처를 설계하는 것.
• 최소한의 파라미터와 추론 시간으로 뛰어난 노이즈 제거 성능을 달성하여 엣지 장치에 적합한 모델을 만드는 것.
• 잡음이 포함된 잠재 표현을 수정함으로써 제어 가능한 노이즈 생성을 가능하게 하여 현실적인 합성 노이즈 이미지를 생성하는 것.

제안 방법

• InvDN는 노이즈가 포함된 입력을 저해상도의 청결한 이미지와 고차원의 잠재 표현으로 매핑하기 위해 가역성 블로킹을 사용한다. 이 잠재 표현은 노이즈와 고주파 성분을 모두 포함한다.
• 노이즈 제거 과정에서 기존의 노이즈가 포함된 잠재 표현을 표준 정규 분포에서 샘플링한 새로운 표현으로 교체하여 청결한 이미지를 복원한다.
• 모델은 역전파 과정에서 정보 보존과 메모리 효율성을 확보하기 위해 가역성을 활용한다.
• 정확도 향상을 위해 몬테카를로 자기집합(self-ensemble) 기법을 적용하여 다수의 잠재 코드를 샘플링하고, 그 결과로 나오는 노이즈 제거 이미지의 평균을 취한다.
• 노이즈 생성을 위해 원본의 노이즈가 포함된 잠재 코드를 변형한 후 다시 복원하여 새로운 현실적인 노이즈 이미지를 생성한다.
• 모델은 SIDD 데이터셋에서 재구성 손실과 청결한 잠재 공간에 대한 사전 기반 정규화를 사용하여 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 입력(노이즈가 있는 이미지)과 출력(청결한 이미지)의 분포가 다름에도 불구하고, 가역성 네트워크가 실세계 이미지 노이즈 제거에 효과적으로 적용될 수 있는가?
• RQ2 어떻게 가역 아키텍처가 청결한 콘텐츠와 노이즈를 분리하여 노이즈 제거와 노이즈 생성을 동시에 가능하게 할 수 있는가?
• RQ3 경량 가역 모델이 훨씬 적은 파라미터와 더 빠른 추론 속도로 최신 기술 수준의 노이즈 제거 성능을 달성할 수 있는가?
• RQ4 가역 모델의 잠재 공간을 얼마나 잘 조작하여 현실적이고 다양한 노이즈 이미지를 생성할 수 있는가?

주요 결과

• InvDN는 SIDD 테스트 세트에서 기존의 모든 방법들(예: DANet, VDN 포함)을 능가하는 새로운 최신 기술 수준의 PSNR 32.48을 달성하였다.
• 최근에 제안된 DANet에 비해 파라미터 수의 4.2%만을 사용하여 엣지 장치에 매우 효율적인 모델이다.
• InvDN는 추론 시간을 크게 줄여 품질을 손상시키지 않은 채 더 빠른 노이즈 제거를 가능하게 하였다.
• 모델은 AKLD 0.059로 노이즈 이미지를 생성하였으며, 이는 실제 노이즈와의 유사도가 높음을 의미한다. 이는 DANet(0.212)보다 유의미하게 낮은 수치이다.
• 몬테카를로 자기집합 기법은 노이즈 제거 성능을 향상시켜 SIDD 검증 이미지의 83.35%에서 정확도를 높였다.
• PCA 시각화 결과, 노이즈가 포함된 잠재 표현과 청결한 사전 샘플이 서로 다른, 겹치지 않는 분포를 따름을 확인하였다.