[논문 리뷰] Noise2Kernel: Adaptive Self-Supervised Blind Denoising using a Dilated Convolutional Kernel Architecture

Kanggeun Lee, Won‐Ki Jeong|arXiv (Cornell University)|2020. 12. 07.

Image and Signal Denoising Methods인용 수 5

한 줄 요약

Noise2Kernel는 소금과胡椒 노이즈 및 융합 노이즈에서 최고 성능을 달성하는 엔드 투 엔드 적응형 자기학습 프레임워크를 제안한다. 확장된 컨볼루션 커널 아키텍처를 사용하여, 공간적으로 적응형 확장 컨벌루션과 도넛 모양의 수신장 특성을 활용함으로써 네트워크 출력이 원래 노이즈가 있는 픽셀에 영향을 받지 않게 하여, 쌍화된 데이터나 노이즈 모델 지식 없이도 강건한 블라인드 디노이징을 가능하게 한다.

ABSTRACT

With the advent of recent advances in unsupervised learning, efficient training of a deep network for image denoising without pairs of noisy and clean images has become feasible. However, most current unsupervised denoising methods are built on the assumption of zero-mean noise under the signal-independent condition. This assumption causes blind denoising techniques to suffer brightness shifting problems on images that are greatly corrupted by extreme noise such as salt-and-pepper noise. Moreover, most blind denoising methods require a random masking scheme for training to ensure the invariance of the denoising process. In this paper, we propose a dilated convolutional network that satisfies an invariant property, allowing efficient kernel-based training without random masking. We also propose an adaptive self-supervision loss to circumvent the requirement of zero-mean constraint, which is specifically effective in removing salt-and-pepper or hybrid noise where a prior knowledge of noise statistics is not readily available. We demonstrate the efficacy of the proposed method by comparing it with state-of-the-art denoising methods using various examples.

연구 동기 및 목표

• 추론 시 노이즈 유형과 파라미터가 알려지지 않은 블라인드 디노이징 문제를 해결한다.
• 쌍화된 클린-노이즈 이미지가 필요 없는 자기학습 프레임워크를 개발한다.
• 원래 노이즈가 있는 픽셀에 대한 불변성을 보장하는 신경망 아키텍처를 설계하여, 임의의 노이즈 모델 하에서 강건한 디노이징을 가능하게 한다.
• 소금과胡椒 노이즈 및 융합 노이즈와 같은 복잡한 실제 노이즈 패턴에서 최고 성능을 달성한다.
• 명시적인 노이즈 모델링이나 감독 없이 다양한 노이즈 유형으로의 일반화 능력을 입증한다.

제안 방법

• 수신장 확장을 제어하기 위해 적응형 확장률을 갖춘 확장 컨벌루션 커널 아키텍처를 제안한다.
• 중앙 픽셀을 제외한 도넛 모양의 컨벌루션 레이어를 사용하여 네트워크 출력이 원래 노이즈가 있는 픽셀에 영향을 받지 않도록 보장한다.
• 증가하는 확장률을 갖춘 다중 스택된 확장 컨벌루션 레이어를 적용하여 점진적으로 수신장을 확장한다.
• 확장률 d ≥ ⌈K/2⌉일 때 원래 픽셀의 정보가 출력으로 전달되지 않음을 증명하여 네트워크의 불변성 성질을 수학적으로 정의한다.
• 클린 지도 없이 노이즈 이미지만으로 자기학습 대비 학습 기반의 컨트라스트 학습을 통해 네트워크를 엔드 투 엔드로 훈련한다.
• 중앙 픽셀을 마스킹하고 주변 컨텍스트로부터 이를 예측함으로써 네트워크가 클린 특징을 재구성할 수 있는 능력을 활용한다.

실험 결과

연구 질문

• RQ1 자기학습 신경망이 노이즈 모델에 대한 사전 지식 없이도 강건한 블라인드 디노이징을 달성할 수 있는가?
• RQ2 컨벌루션 네트워크의 수신장을 어떻게 설계하여 원래 노이즈가 있는 픽셀을 배제하면서도 맥락 정보를 유지할 수 있는가?
• RQ3 다중 레이어 확장 컨벌루션 아키텍처에서 원래 픽셀에 대한 불변성을 보장하기 위한 최소한의 확장률은 얼마인가?
• RQ4 융합 노이즈와 같은 복잡한 노이즈 유형에서 제안된 아키텍처가 N2V 및 N2S와 비교해 어떻게 성능을 내는가?
• RQ5 적응형 확장률은 실제 이미지에서 다양하고 알려지지 않은 노이즈 패턴으로의 일반화 능력을 향상시킬 수 있는가?

주요 결과

• 이론적 증명에 따르면 확장률 d ≥ ⌈K/2⌉일 경우 원래 노이즈가 있는 픽셀의 정보가 최종 네트워크 출력으로 전달되지 않으며, 이는 불변성을 보장한다.
• 소금과胡椒 노이즈에서 Noise2Kernel는 N2V 및 N2S를 모두 능가하며, 시각적 및 정량적 성능이 뛰어나다.
• 융합 노이즈(가우시안 + 소금과胡椒)에서 σg = 50 및 σs = 25 조건에서, 정성적 비교를 통해 최고 성능을 달성한다.
• 재학습이나 노이즈 파라미터 추정 없이도 알려지지 않은 노이즈 유형으로도 잘 일반화된다.
• 정성적 결과는 Noise2Kernel가 베이스라인 방법보다 더 선명한 텍스처와 더 적은 아티팩트를 생성함을 확인한다.
• 아키텍처 설계가 원래 노이즈가 있는 픽셀에서의 정보 유출을 효과적으로 방지하여 강건한 자기학습 학습을 가능하게 한다.