[논문 리뷰] Block-Matching Convolutional Neural Network for Image Denoising

Byeongyong Ahn, Nam Ik Cho|arXiv (Cornell University)|2017. 04. 03.

Image and Signal Denoising Methods참고 문헌 37인용 수 26

한 줄 요약

이 논문은 유사한 패치를 3차원 블록으로 그룹화함으로써 비국소적 자기유사성(NSS) 사전지식과 딥러닝을 융합한 하이브리드 이미지 노이즈 제거 방법인 블록 매칭 컨volution 신경망(BMCNN)을 제안한다. 이 방법은 블록 매칭을 위한 파ilot 신호로 사전에 노이즈 제거된 이미지를 사용하고, 3D 패치 그룹을 노이즈 제거하기 위해 CNN을 훈련시켜 정규 및 비정규 이미지 구조에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There are two main streams in up-to-date image denoising algorithms: non-local self similarity (NSS) prior based methods and convolutional neural network (CNN) based methods. The NSS based methods are favorable on images with regular and repetitive patterns while the CNN based methods perform better on irregular structures. In this paper, we propose a block-matching convolutional neural network (BMCNN) method that combines NSS prior and CNN. Initially, similar local patches in the input image are integrated into a 3D block. In order to prevent the noise from messing up the block matching, we first apply an existing denoising algorithm on the noisy image. The denoised image is employed as a pilot signal for the block matching, and then denoising function for the block is learned by a CNN structure. Experimental results show that the proposed BMCNN algorithm achieves state-of-the-art performance. In detail, BMCNN can restore both repetitive and irregular structures.

연구 동기 및 목표

• 순수한 CNN 기반 노이즈 제거 방법의 한계를 극복하기 위해, 비국소적 자기유사성(NSS)을 활용하지 못하고 정규적인 반복 패턴에서 성능이 열등한 점을 해결하기 위해.
• 기존의 전통적 NSS 기반 방법의 유연성 부족 문제를 해결하기 위해, 수작업으로 설정된 사전지식과 매개변수 조정이 필요한 점을 개선하기 위해.
• 로컬 CNN 학습과 글로벌 NSS 구조를 동시에 활용하는 데이터 기반 프레임워크를 개발하여 노이즈 제거 성능을 향상시키기 위해.
• 로컬 패치 특성과 글로벌 자기유사 패턴을 모두 고려하는 최적의 노이즈 제거 함수를 엔드 투 엔드로 학습할 수 있도록 하기 위해.

제안 방법

• 노이즈가 있는 입력 이미지에 기존의 노이즈 제거 알고리즘(DnCNN 또는 BM3D 등)을 적용하여 블록 매칭을 위한 파ilot 신호를 생성한다.
• 파ilot 신호를 기반으로 블록 매칭을 수행하여 유사한 국소 패치들을 3차원 배열로 그룹화하며, 공간적 관계를 유지한다.
• 3D-CNN을 훈련시어 3D 패치 그룹을 노이즈 제거된 출력으로 매핑하는 데이터 기반의 노이즈 제거 함수를 학습한다.
• 정보량과 매칭 정확도를 고려할 때 20×20 패치 크기가 최적임을 확인하였다.
• 계산 비용과 복원 품질의 균형을 위해 패치 크기의 약 절반인 스트라이드를 사용한다.
• 가중 평균 방식을 사용하여 노이즈 제거된 3D 블록들을 다시 이미지에 통합하여 최종 청소된 이미지를 복원한다.

실험 결과

연구 질문

• RQ1 비국소적 자기유사성(NSS)과 딥러닝 기반의 CNN 학습을 융합함으로써 정규 및 비정규 이미지 구조에서 모두 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 노이즈 조건에서 블록 매칭을 위한 파ilot 신호로 사전에 노이즈 제거된 이미지를 사용할 경우, 패치 유사도 검출 정확도에 어떤 영향을 미치는가?
• RQ3 제안된 BMCNN 프레임워크에서 노이즈 제거 성능과 계산 효율성의 균형을 고려할 때 최적의 패치 크기와 스트라이드는 무엇인가?
• RQ4 BMCNN의 성능는 네트워크 아키텍처의 선택보다는 블록 매칭을 위한 사전처리 방법의 선택에 더 민감한가?

주요 결과

• BMCNN은 테스트된 모든 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, Set12 벤치마크에서 평균 PSNR 30.98 dB를 기록하여 CNN 전용 및 전통적 NSS 기반 방법을 모두 초월하였다.
• CNN 전용 방법이 일반적으로 성능이 열등한 정규적이고 반복적인 구조를 가진 이미지(예: Barbara, House)에서 성능 향상이 뚜렷하게 나타났다.
• BM3D를 사전처리 방법으로 사용할 경우 일부 이미지(예: Barbara, House)에서 DnCNN보다 약간 더 좋은 결과를 얻었지만, 전체 평균 PSNR는 거의 동일한 30.97 dB를 기록하여 사전처리 방법의 선택에 대해 매우 강건함을 입증하였다.
• 20×20 패치 크기가 정보량과 매칭 정확도 사이의 최적의 균형을 이루었으며, 10×10 및 40×40 패치보다 뛰어난 성능을 보였다.
• 20×20 패치 크기의 절반인 스트라이드 10이 복원 품질과 계산 비용 사이의 최적 균형을 제공하였으며, PSNR 저하가 최소화되고 런타임이 크게 감소하였다.
• BMCNN 프레임워크는 계산적으로 효율적이며, 256×256 이미지에서는 1.603초, 512×512 이미지에서는 5.777초의 런타임을 기록하여 실시간 응용 가능성을 확보하였다.