[논문 리뷰] Image denoising with multi-layer perceptrons, part 1: comparison with existing algorithms and with bounds

Harold Christopher Burger, Christian J. Schuler외 1명|arXiv (Cornell University)|2012. 11. 07.

Image and Signal Denoising Methods참고 문헌 50인용 수 58

한 줄 요약

이 논문은 대규모 훈련 데이터를 사용하여 노이즈 있는 이미지 패치에서 청소된 이미지 패치로의 매핑을 직접 학습하는 다층 퍼셉트론(MLP) 기반 접근법을 제안한다. 이는 BM3D와 NLSC와 같은 최신 기법들보다 높은 노이즈 수준에서 뛰어난 성능을 보이며, 더 큰 패치를 활용하고 표준 가정을 위반함으로써 이론적 한계를 초월한다. 또한 JPEG 아티팩트 및 혼합 포isson-가우시안 노이즈와 같은 비가우시안 노이즈 유형으로도 잘 일반화된다.

ABSTRACT

Image denoising can be described as the problem of mapping from a noisy image to a noise-free image. The best currently available denoising methods approximate this mapping with cleverly engineered algorithms. In this work we attempt to learn this mapping directly with plain multi layer perceptrons (MLP) applied to image patches. We will show that by training on large image databases we are able to outperform the current state-of-the-art image denoising methods. In addition, our method achieves results that are superior to one type of theoretical bound and goes a large way toward closing the gap with a second type of theoretical bound. Our approach is easily adapted to less extensively studied types of noise, such as mixed Poisson-Gaussian noise, JPEG artifacts, salt-and-pepper noise and noise resembling stripes, for which we achieve excellent results as well. We will show that combining a block-matching procedure with MLPs can further improve the results on certain images. In a second paper, we detail the training trade-offs and the inner mechanisms of our MLPs.

연구 동기 및 목표

• 간단한 엔드 투 엔드 MLP가 BM3D와 NLSC와 같은 수작업으로 설계된 최신 기법들을 능가할 수 있는지 조사하는 것.
• 기존 기법의 성능을 제한하는 가정 하에서 이론적 디노이징 한계와의 비교를 통해 MLP의 성능을 평가하는 것.
• 스트립 노이즈, 솔트 앤 페퍼 노이즈, JPEG 아티팩트, 혼합 포isson-가우시안 노이즈와 같은 비가우시안 노이즈 유형에 대한 MLP의 일반화 능력을 평가하는 것.
• 블록 매칭을 MLP와 조합했을 때 반복적인 구조를 가진 이미지에서 성능 향상이 이루어지는지 탐색하는 것.
• 디노이징 품질과 일반화 능력에 영향을 주는 아키텍처, 패치 크기, 훈련 데이터 스케일 간의 상호 상충 관계를 이해하는 것.

제안 방법

• 이 방법은 노이즈-청소 이미지 패치 쌍으로 구성된 대규모 데이터셋에서 다층 퍼셉트론(MLP)을 훈련하여, 노이즈 패치에서 디노이즈드 패치로의 직접적인 매핑을 학습한다.
• 이미지 디노이징은 입력 이미지를 겹치는 패치들로 나누고, 훈련된 MLP를 통해 각 패치를 독립적으로 디노이징한 후 전체 이미지를 재구성함으로써 수행된다.
• 이 방법은 GPU 가속 인퍼런스를 사용하여 이미지당 5초 미만으로 디노이징을 수행할 수 있으며, 해당 합성 데이터에 맞게 재훈련함으로써 다양한 노이즈 모델에 적응 가능하다.
• 구조적 이미지에서의 성능 향상을 위해, 이미지 전반에 걸쳐 자기 유사성을 활용하는 블록 매칭 절차를 MLP와 통합하여 협동 필터링을 통해 디노이징 성능을 향상시킨다.
• 표준 측정 기준(PSNR)을 사용하여 다양한 테스트 이미지와 노이즈 수준(고분산 가우시안 노이즈 포함)에서 성능을 평가한다.
• 패치 크기가 변화하는 조건에서 클러스터링 기반 한계(Chatterjee & Milanfar, 2010)와 베이지안 패치 기반 한계(Levin & Nadler, 2011)와의 이론적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 간단한, 학습되지 않은 엔드 투 엔드 MLP 아키텍처가 BM3D와 NLSC와 같은 고도로 최적화된 디노이징 알고리즘을 능가할 수 있는가?
• RQ2 MLP 기반 디노이징이 어느 정도 이론적 성능 한계를 초월할 수 있으며, 이러한 초월는 어떤 조건에서 발생하는가?
• RQ3 JPEG 아티팩트 및 혼합 포isson-가우시안 노이즈와 같은 비가우시안 노이즈 유형에 대해 MLP의 성능는 어떻게 비교되는가?
• RQ4 블록 매칭을 MLP와 통합했을 때 반복적인 패턴을 가진 이미지에서 성능 향상이 이루어지는가?
• RQ5 MLP 기반 디노이징의 성공을 결정짓는 주요 아키텍처 및 훈련 요소는 무엇인가? (패치 크기, 네트워크 깊이, 훈련 데이터 스케일 등)

주요 결과

• MLP 기반 방법은 일부 이미지에서 BM3D를 1.5 dB 이상, 다른 이미지에서는 3 dB 이상 뛰어넘는 성능을 보이며, 특히 고노이즈 수준에서 뛰어난 성능을 발휘한다.
• 패치 클러스터 가정을 위반함으로써 클러스터링 기반 이론적 한계를 초월하며, 실질적으로 이러한 한계가 타이트하지 않음을 입증한다.
• 유한한 패치 크기에 대한 베이지안 패치 기반 한계를 초월하여, 무한한 패치 크기의 이론적 한계에 더 가까운 결과를 달성한다.
• 혼합 포isson-가우시안 노이즈와 JPEG 양자화 아티팩트에 대해서도 경쟁적인 성능을 보이며, 이러한 환경에서 기존 방법들을 능가한다.
• 블록 매칭을 통합한 MLP는 'Barbara'와 'House'와 같은 구조적 이미지에서 성능 향상을 이룬다. 그러나 훈련 및 추론 시간이 증가하는 비용이 수반된다.
• 이 방법은 BM3D에 대해 이론적으로 가능한 개선의 약 50%에 가까운 성능 향상을 달성하여, 이론적 성능 한계에 매우 가까이 다가섰음을 시사한다.