[논문 리뷰] Chaining Identity Mapping Modules for Image Denoising

Saeed Anwar, Cong Phouc Huynh외 1명|arXiv (Cornell University)|2017. 12. 08.

Image and Signal Denoising Methods참고 문헌 53인용 수 14

한 줄 요약

이 논문은 잔차 학습과 항등 맵핑 스케일 연결, 확장된 컨볼루션을 사용하여 기울기 흐름과 수신 영역을 유지하는 완전 컨volution 신경망인 아이덴티티 매핑 모듈 체인(CIMM)을 제안한다. 이 모델은 합성(BSD68) 및 실세계(DND) 데이터셋에서 최신 기술 수준의 성능을 달성하며, 이전의 CNN 및 BM3D와 같은 고전적 방법보다 뛰어나며, 실세계 이미지에서 1.43 dB의 PSNR 향상을 기록하고 노이즈 수준 추정이 필요로 하지 않는다.

ABSTRACT

We propose to learn a fully-convolutional network model that consists of a Chain of Identity Mapping Modules (CIMM) for image denoising. The CIMM structure possesses two distinctive features that are important for the noise removal task. Firstly, each residual unit employs identity mappings as the skip connections and receives pre-activated input in order to preserve the gradient magnitude propagated in both the forward and backward directions. Secondly, by utilizing dilated kernels for the convolution layers in the residual branch, in other words within an identity mapping module, each neuron in the last convolution layer can observe the full receptive field of the first layer. After being trained on the BSD400 dataset, the proposed network produces remarkably higher numerical accuracy and better visual image quality than the state-of-the-art when being evaluated on conventional benchmark images and the BSD68 dataset.

연구 동기 및 목표

• 합성 및 실세계 노이즈 이미지에 모두 잘 일반화되는 딥 러닝 기반의 이미지 노이즈 제거 모델을 개발하는 것.
• 노이즈 수준 추정이 필요하고 과도하게 매끄럽거나 과도하게 대비가 강한 아티팩트를 유발하는 기존 CNN의 한계를 해결하는 것.
• 아이덴티티 매핑과 프리-액티베이션 유닛을 통해 심층 네트워크에서 기울기 흐름과 특징 전파를 향상시키는 것.
• 파rameter 수나 계산 비용을 증가시키지 않으면서 확장된 컨볼루션을 사용해 각 레이어의 효과적 수신 영역을 확장하는 것.
• 사전 또는 사후 처리 단계에 의존하지 않는 모듈식이고 종단 간 노이즈 제거 프레임워크를 구축하는 것.

제안 방법

• 아이덴티티 스케일 연결을 사용하는 잔차 유닛을 포함한 5모듈, 5층의 심층 완전 컨volution 신경망으로, 학습 가능한 레이어 수는 26개이다.
• 각 잔차 유닛은 프리-액티베이션 배치 정규화와 ReLU를 사용하여 학습 중 기울기 흐름의 안정성을 확보한다.
• 수신 영역을 확장하기 위해 잔차 브랜치에 확장된 컨볼루션을 적용하여, 최종 레이어의 각 뉴런이 전체 입력 이미지의 맥락을 관찰할 수 있도록 한다.
• BSD400 데이터셋에서 예측된 정제된 이미지와 진짜 정제된 이미지 간의 평균 제곱 오차 손실을 사용해 종단 간으로 학습한다.
• 모델은 노이즈 수준 입력 없이도 합성(BSD68) 및 실세계(Darmstadt Noise Dataset) 벤치마크에서 평가된다.
• 모든 레이어 뒤에 배치 정규화를 사용하는 것을 피하고, 대신 프리-액티베이션과 아이덴티티 매핑을 통해 학습 안정성을 확보한다.

실험 결과

연구 질문

• RQ1 아이덴티티 매핑과 확장된 컨볼루션을 갖춘 모듈식 완전 컨볼루션 네트워크가 합성 및 실세계 이미지에서 기존의 CNN 기반 및 고전적 노이즈 제거 방법보다 뛰어난 성능을 내는가?
• RQ2 프리-액티베이션과 아이덴티티 스케일 연결을 사용함으로써 심층 노이즈 제거 네트워크에서 학습 안정성과 테스트 성능이 향상되는가?
• RQ3 확장된 컨볼루션을 사용해 파rameter 수나 노이즈 수준 정보 없이 효과적으로 수신 영역을 확장할 수 있는가?
• RQ4 DnCNN과 BM3D와 같은 최신 기술 수준의 모델과 비교해 실세계 노이즈 이미지에서 PSNR 및 시각적 품질 측면에서 제안된 방법의 성능은 어떠한가?
• RQ5 모델이 명시적인 노이즈 수준 추정 또는 외부 사전 지식 없이도 실세계 노이즈에 일반화될 수 있는가?

주요 결과

• BSD68 합성 데이터셋에서 제안된 방법은 PSNR 36.04 dB를 기록하여 DnCNN(32.43 dB)과 BM3D(34.61 dB)를 모두 초월하며, 이 벤치마크에서 최신 기술 수준의 성능보다 0.1 dB 높은 성능을 달성한다.
• 실세계 Darmstadt Noise Dataset(DND)에서 모델은 PSNR 36.04 dB와 SSIM 0.9136을 기록하여, WNNM(34.44 dB)과 DenoiseNet(35.08 dB)을 포함한 모든 다른 방법보다 뚜렷이 뛰어나다.
• DND 데이터셋에서 BM3D보다 1.43 dB의 PSNR 향상을 기록하여 실세계 노이즈에서 뛰어난 성능을 보이며, 일반적으로 고전적 방법이 성능을 내지 못하는 영역에서의 우수성을 입증한다.
• 시각적으로 제안된 방법은 노이즈를 효과적으로 제거하면서도 미세한 이미지 구조를 유지하며, DnCNN과 BM3D에서 흔히 볼 수 있는 과도한 매끄러움이나 과도한 대비 아티팩트를 방지한다.
• BM3D 및 기타 고전적 알고리즘과 달리 노이즈 수준에 대한 사전 지식이 필요로 하지 않아 실세계 적용에 더 실용적이다.
• 제거 분석 결과, 아이덴티티 매핑, 프리-액티베이션, 확장된 컨볼루션의 조합이 성능 향상에 필수적이며, 각 구성 요소가 기울기 안정성과 특징 전파에 기여하고 있음을 확인했다.