[논문 리뷰] NBNet: Noise Basis Learning for Image Denoising with Subspace Projection

Shen Cheng, Yuzhi Wang외 4명|arXiv (Cornell University)|2020. 12. 30.

Image and Signal Denoising Methods참고 문헌 52인용 수 17

한 줄 요약

NBNet는 특징 공간에서 노이즈에 강건한 기저 벡터를 학습함으로써 신호 복원을 향상시키기 위해 부분공간 투영을 활용하는 새로운 이미지 노이즈 제거 프레임워크를 제안한다. 종합적인 기저 생성 및 투영을 위한 비국소 주의 모듈(SSI)을 도입함으로써 NBNet은 이전 방법들보다 훨씬 낮은 계산 비용으로 SIDD 및 DND 벤치마크에서 최고 성능을 기록한 PSNR와 SSIM을 달성한다.

ABSTRACT

In this paper, we introduce NBNet, a novel framework for image denoising. Unlike previous works, we propose to tackle this challenging problem from a new perspective: noise reduction by image-adaptive projection. Specifically, we propose to train a network that can separate signal and noise by learning a set of reconstruction basis in the feature space. Subsequently, image denosing can be achieved by selecting corresponding basis of the signal subspace and projecting the input into such space. Our key insight is that projection can naturally maintain the local structure of input signal, especially for areas with low light or weak textures. Towards this end, we propose SSA, a non-local subspace attention module designed explicitly to learn the basis generation as well as the subspace projection. We further incorporate SSA with NBNet, a UNet structured network designed for end-to-end image denosing. We conduct evaluations on benchmarks, including SIDD and DND, and NBNet achieves state-of-the-art performance on PSNR and SSIM with significantly less computational cost.

연구 동기 및 목표

• 전통적인 CNN이 局부 필터에 의존하기 때문에 저노이즈 영역에서 세밀한 무늬와 저조도 세부 정보를 유지하는 데 어려움을 겪는 문제를 해결한다.
• 국소 반응 기반의 노이즈 제거 기법이 낮은 신호 대 노이즈 비율(SNR) 영역에서 가지는 한계를 극복하기 위해 전역적인 구조 정보를 통합한다.
• 복잡한 컨볼루션 블록을 추가하지 않고도 신호 부분공간 기저를 학습하고 투영하는 효율적인 종단 간 훈련 가능한 메커니즘을 개발한다.
• 심층 신경망 아키텍처나 명시적 노이즈 모델링 외의 대안으로 부분공간 투영이 이미지 노이즈 제거에서 유망한 방향임을 입증한다.
• 기존 최고 수준의 방법들에 비해 계산 비용을 줄이며도 뛰어난 성능을 달성한다.

제안 방법

• 노이즈가 있는 특징을 학습된 신호 부분공간에 투영하여 청소된 신호를 복원하는 이미지 적응형 부분공간 투영 기반의 새로운 노이즈 제거 프레임워크를 제안한다.
• 비국소 주의를 사용하여 기저 벡터를 동시에 학습하고 투영하는 Subspace Attention (SSA) 모듈을 설계하여 전역적 맥락 모델링을 가능하게 한다.
• 스킵 연결과 공간적 세부 정보를 유지하기 위해 UNet 유사 아키텍처에 SSA를 통합하며, 기저 생성은 인코더 경로와 스킵 연결 경로의 특징에 의해 영향을 받는다.
• 투영 연산을 $\text{Proj}(\mathbf{X}_1, \mathbf{X}_2) = \mathbf{X}_1^T \mathbf{B} (\mathbf{B}^T \mathbf{B})^{-1} \mathbf{B}^T \mathbf{X}_1$로 수식화하며, 여기서 $\mathbf{B}$는 $\mathbf{X}_2$로부터 학습된 기저이다.
• 예측된 이미지와 청소된 이미지 간 표준 L2 손실을 사용하여 전체 네트워크를 종단 간으로 훈련하며, SSA는 효율적이고 미분 가능한 투영을 가능하게 한다.
• 과적합을 방지하면서도 핵심적인 신호 구조를 포괄하는 데에 충분한, 매우 컴act한 기저 차원 $K=8$ 또는 $16$을 사용한다.

실험 결과

연구 질문

• RQ1 낮은 SNR 영역에서 국소적 구조를 유지함으로써 부분공간 투영이 이미지 노이즈 제거 성능을 향상시키는 데 효과적으로 활용될 수 있는가?
• RQ2 비국소 주의를 통해 기저 벡터를 학습하는 것이 표준 컨볼루션 연산에 비해 노이즈 제거 성능을 어떻게 향상시키는가?
• RQ3 특징 소스와 차원 수의 관점에서 기저 생성 및 투영에 최적의 구성은 무엇인가?
• RQ4 심층 CNN에 추가 블록을 추가하는 것보다 부분공간 기반의 노이즈 제거가 더 낮은 계산 비용으로 최고 성능을 달성할 수 있는가?
• RQ5 기존의 전통적 및 딥 러닝 기반 베이스라인과 비교할 때, 제안된 방법은 약한 무늬와 고주파 세부 정보를 어떻게 유지하는가?

주요 결과

• SIDD 벤치마크에서 NBNet은 VDN, DANet, MIRNet, CBDNet를 포함한 모든 이전 방법들을 능가하며 PSNR 39.75 dB, SSIM 0.973를 기록한다.
• DND 벤치마크에서는 특히 약한 무늬 영역과 저조도 영역에서 뛰어난 무늬 유지 및 선명도 향상으로 최고 성능을 기록한다.
• SSA 모듈은 DnCNN 대비 1.15 dB, DnCNN에 SSA를 추가한 경우 대비 0.46 dB의 PSNR 향상을 보이며, 강력한 베이스라인에 추가되어도 효과가 뛰어나다는 것을 입증한다.
• 제거 실험 결과, $\mathbf{X}_1$와 $\mathbf{X}_2$ 양쪽에서 유도된 기저로 투영하는 것이 가장 뛰어난 성능(PSNR 39.75 dB)을 내며, 단일 소스 기반 기저 생성보다 뛰어나다.
• 기저 시각화 결과, 학습된 16채널 기저가 반복 패턴(예: 점)을 포착하고 있으며, 이는 전역 상관관계를 통해 이미지 전반에 걸쳐 일관된 무늬 복원을 가능하게 한다.
• 소규모 계산 오버헤드로도 높은 성능를 유지하며, 추가 컨볼루션 레이어를 추가하는 것보다 더 효율적인 최고 수준의 결과를 달성한다.