[논문 리뷰] Wide Inference Network for Image Denoising via Learning Pixel-distribution Prior

Peng Liu, Ruogu Fang|arXiv (Cornell University)|2017. 07. 17.

Image and Signal Denoising Methods참고 문헌 19인용 수 22

한 줄 요약

이 논문은 잡음이 있는 이미지에서 픽셀 분포 사전 지식을 학습하여 이미지 정화 성능을 햖저하는 얕지만 넓은 컨볼루션 신경망인 넓은 추론 네트워크(Wide Inference Networks, WIN)를 제안한다. 특히 초기 레이어에서 필터 크기와 채널 너비를 증가시킴으로써 추가 정규화된 백색 가우시안 잡음(AWGN)의 통계적 규칙성을 포착하여, 더 깊은 네트워크보다 파rameter 수와 데이터 양이 적은데도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We explore an innovative strategy for image denoising by using convolutional neural networks (CNN) to learn similar pixel-distribution features from noisy images. Many types of image noise follow a certain pixel-distribution in common, such as additive white Gaussian noise (AWGN). By increasing CNN's width with larger reception fields and more channels in each layer, CNNs can reveal the ability to extract more accurate pixel-distribution features. The key to our approach is a discovery that wider CNNs with more convolutions tend to learn the similar pixel-distribution features, which reveals a new strategy to solve low-level vision problems effectively that the inference mapping primarily relies on the priors behind the noise property instead of deeper CNNs with more stacked nonlinear layers. We evaluate our work, Wide inference Networks (WIN), on AWGN and demonstrate that by learning pixel-distribution features from images, WIN-based network consistently achieves significantly better performance than current state-of-the-art deep CNN-based methods in both quantitative and visual evaluations. extit{Code and models are available at \url{https://github.com/cswin/WIN}}.

연구 동기 및 목표

• 이미지 정화와 같은 저수준 시각 작업에서 깊은 CNN의 일반화 능력과 성능 향상이 제한된 문제를 해결한다.
• 필터 크기와 채널 수로 정의되는 네트워크 폭이 잡음 제거를 위한 사전 지식 학습에 기여할 수 있는지 탐구한다.
• 잡음이 있는 이미지에서 픽셀 분포 특징을 학습하는 것이 깊이 기반 아키텍처를 능가할 수 있는지 입증한다.
• 데이터 증강을 최소화하고 고유한 잡음 분포 사전 지식을 활용함으로써 데이터 효율적인 훈련 전략을 탐색한다.

제안 방법

• 초기 레이어에서 큰 커널 크기(7×7)와 높은 채널 수(128)를 사용하여 수용장역을 확장하는 얕지만 넓은 컨볼루션 신경망 아키텍처(WIN5)를 설계한다.
• 훈련 안정성과 사전 추정 유지에 기여하기 위해 배치 정규화(BN)와 잔차 학습을 적용하여 통계적 특징을 위한 네트워크 메모리 성능을 향상시킨다.
• AWGN의 잠재적인 픽셀 분포 사전 지식을 학습하는 데 중점을 두고, 잡음-청결 이미지 쌍을 사용하여 지도 학습 방식으로 네트워크를 종단 간(end-to-end)으로 훈련시킨다.
• 추론 중 통계적 사전 지식을 유지하기 위해 스킵 연결을 연관 기억으로 활용하여 깊이 증가 없이도 특징 표현을 향상시킨다.
• 레이어별 필터 크기와 채널 수를 다양화하여 최적의 성능을 도출하고, 첫 두 레이어에서 128개 필터와 7×7 커널 조합이 최적임을 규명한다.
• 훈련 중 일관된 잡음 분포를 시뮬레이션하기 위해 고정된 잡음 행렬(시드 값 randn('seed',0)으로 설정)을 적용하지만, 이는 다양한 잡음 실현 간 일반화 능력을 제한한다.

실험 결과

연구 질문

• RQ1 필터 크기와 채널 수로 정의되는 네트워크 폭을 증가시켜 깊이 대신 픽셀 분포 사전 지식을 더 잘 포착함으로써 이미지 정화 성능 향상을 이룰 수 있는가?
• RQ2 더 넓은 컨볼루션을 통해 잡음의 통계적 분포(예: AWGN)를 학습하면 깊은 아키텍처보다 더 나은 일반화와 성능을 달성할 수 있는가?
• RQ3 더 적은 이미지로 훈련하고 데이터 증강 없이도 얕고 넓은 네트워크가 더 깊은 네트워크를 얼마나 뛰어넘을 수 있는가?
• RQ4 잡음 시뮬레이션 방식(예: 고정된 잡음 대비 이미지별로 랜덤 잡음)의 선택이 정화 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 아키텍처 설계를 통해 잡음 분포의 사전 지식을 효과적으로 CNN에 통합할 수 있는가? 이는 깊이와 데이터 증강에 대한 의존도를 줄일 수 있는가?

주요 결과

• WIN5는 BSD100 및 BSD200 데이터셋에서 AWGN 정화 작업에서 최신 기술 수준의 PSNR 성능을 달성하여, 더 얕은 레이어를 가진 DnCNN과 RED-Net을 능가한다.
• 2L(128×7×7)+2L(64×7×7)+1L(1×7×7) 아키텍처를 가진 변종은 WIN5와 유사한 성능를 보이며 모델 복잡도를 감소시킨다.
• 데이터 증강 없이 200장의 이미지로만 훈련된 WIN5는 400장의 이미지에 데이터 증강을 적용한 DnCNN보다도 성능이 뛰어나 데이터 효율성이 뛰어나다는 것을 입증한다.
• 실험 결과, 더 넓은 네트워크(큰 수용장역)가 더 깊은 네트워크보다 픽셀 분포 사전 지식 학습에 더 효과적임을 보이며, 특히 저수준 시각 작업에서 뚜렷한 이점이 있다.
• 손상 조건이 제어될 경우 깊이 증가에 따라 성능 향상이 이루어지지만, 사전 지식 학습과 정화 정확도에서 폭이 주요 결정 요소로 남아 있다.
• 잡음이 일관되게 시드되지 않은 경우(예: 고정된 시드 없이 randn 사용) 모델 성능이 심각하게 저하됨을 확인하여, 다양한 잡음 실현 간 일반화에 심각한 결함이 있음을 시사한다.