[논문 리뷰] Robust and interpretable blind image denoising via bias-free convolutional neural networks

Sreyas Mohan, Zahra Kadkhodaie외 2명|arXiv (Cornell University)|2019. 06. 13.

Image and Signal Denoising Methods참고 문헌 27인용 수 36

한 줄 요약

한 논문은 CNN 디노이저에서 additive bias를 제거하면 보지 못한 노이즈 수준에서도 강한 일반화가 가능하고 디노이징 메커니즘에 대한 선형대수적 해석 가능성을 제공한다.

ABSTRACT

Deep convolutional networks often append additive constant ("bias") terms to their convolution operations, enabling a richer repertoire of functional mappings. Biases are also used to facilitate training, by subtracting mean response over batches of training images (a component of "batch normalization"). Recent state-of-the-art blind denoising methods (e.g., DnCNN) seem to require these terms for their success. Here, however, we show that these networks systematically overfit the noise levels for which they are trained: when deployed at noise levels outside the training range, performance degrades dramatically. In contrast, a bias-free architecture -- obtained by removing the constant terms in every layer of the network, including those used for batch normalization-- generalizes robustly across noise levels, while preserving state-of-the-art performance within the training range. Locally, the bias-free network acts linearly on the noisy image, enabling direct analysis of network behavior via standard linear-algebraic tools. These analyses provide interpretations of network functionality in terms of nonlinear adaptive filtering, and projection onto a union of low-dimensional subspaces, connecting the learning-based method to more traditional denoising methodology.

연구 동기 및 목표

• CNN 디노이저가 학습 중에 보지 못한 노이즈 수준에서 일반화되는지 조사한다.
• 덧셈 바이어스의 일반화 및 디노이징 성능에서의 역할을 식별한다.
• 바이어스가 없는 네트워크 아키텍처를 개발하고 선형대수 도구를 사용하여 그들의 국부 디노이징 메커니즘을 분석한다.

제안 방법

• 모든 층과 배치 정규화에서 모든 덧셈 상수 를 제거하여 bias-free CNN (BF-CNN) 아키텍처를 도입한다.
• 디노이징 맵을 로컬 선형 연산자 f(y)=A_y y로 분석하여 야코비안 기반 검사를 가능하게 한다.
• 일차 잔차 분해를 수행하여 선형 (A_y y)와 바이어스 (b_y) 성분을 분리한다.
• 디노이징을 위한 적응적 저차원 신호 부분공간을 보임으로 SVD/야코비안 분석을 사용한다.
• 다중 노이즈 레벨과 데이터셋 전반에 걸쳐 bias-free 네트워크를 표준 아키텍처(DnCNN, Recurrent CNN, UNet, DenseNet)와 비교한다.

실험 결과

연구 질문

• RQ1 바이어스가 없는 아키텍처가 학습 범위를 벗어난 노이즈 수준에서도 일반화합니까?
• RQ2 바이를 제거하는 것이 디노이징 메커니즘과 해석가능성에 어떤 영향을 줍니까?
• RQ3 BF-CNN 디노이징 프로세스를 지배하는 선형대수적 구조(Jacobian, subspaces)는 무엇입니까?
• RQ4 BF-CNN은 학습 범위 내의 성능을 유지하면서 외부 범위 일반화를 개선합니까?

주요 결과

• BF-CNN은 여러 아키텍처에서 학습 범위를 넘어서는 노이즈 레벨에 대해 견고하게 일반화합니다.
• 덧셈 상수를 제거하면 바이어스 CNN에서 관찰된 심각한 일반화 차이가 제거됩니다.
• BF-CNN 디노이저는 이미지 구조와 노이즈 수준에 적응하는 가중치 함수가 있는 로컬 적응 선형 필터로 작동합니다.
• BF-CNN의 야코비안은 대략 대칭적이며 입력을 신호 내용을 보존하는 적응형 저차원 부분공간으로의 투영을 가능하게 합니다.
• 유효 부분공간 차원은 대략 1/σ에 비례해 확장되며, 따라서 MSE ≈ α·σ이고 PSNR은 입력 PSNR에 선형적으로 비례한다는 것을 설명합니다.
• BF-CNN은 학습 범위 내에서의 성능을 유지하면서도 외부 범위에서 더 우수한 성능과 해석가능성을 달성합니다.