[논문 리뷰] Integrating Disparate Sources of Experts for Robust Image Denoising.

Joon Hee Choi, Omar A. Elgendy외 1명|arXiv (Cornell University)|2017. 11. 17.

Image and Signal Denoising Methods참고 문헌 61인용 수 4

한 줄 요약

이 논문은 선형 조합으로 개별 노이즈 제거기의 출력을 융합한 후 부스터 신경망을 통해 결과를 보완함으로써 기존의 전통적 및 신경망 기반 이미지 노이즈 제거기들을 통합하는 모oduular 메타프레임워크인 ConsensusNet을 제안한다. 이 방법은 다양한 노이즈 제거기에서 일관되게 성능을 향상시키며, 방법에 기인한 잔여 노이즈를 줄이고 복잡한 장면에서의 강건성을 향상시킨다.

ABSTRACT

We study an image denoising problem: Given a set of image denoisers, each having a different denoising capability, can we design a framework that allows us to integrate the individual denoisers to produce an overall better result? If we can do so, then potentially we can integrate multiple weak denoisers to denoise complex scenes. The goal of this paper is to present a meta-procedure called the Consensus Neural Network (ConsensusNet). Given a set of initial denoisers, ConsensusNet takes the initial estimates and generates a linear combination of the results. The combined estimate is then fed to a booster neural network to reduce the amount of method noise. ConsensusNet is a modular framework that allows any image denoiser to be used in the initial stage. Experimental results show that ConsensusNet can consistently improve denoising performance for both deterministic denoisers and neural network denoisers.

연구 동기 및 목표

• 다양한 능력을 지닌 다수의 이미지 노이즈 제거기를 통합하여 하나의 향상된 노이즈 제거 솔루션으로 조합하는 데 도전하는 것.
• 기존의 아키텍처 변경 없이도 어떤 기존 노이즈 제거기든 통합할 수 있는 모듈러 프레임워크를 설계하는 것.
• 개별 노이즈 제거기에서 유발되는 잔여 방법 노이즈를 학습된 보완 과정을 통해 줄이는 것.
• 다수의 약한 노이즈 제거기의 강점을 활용하여 고복잡도의 실제 세계 장면에서의 노이즈 제거 성능을 향상시키는 것.

제안 방법

• ConsensusNet은 기초 노이즈 제거기들로부터 제공된 초기 노이즈 제거 출력을 입력으로 취한다.
• 학습 가능한 선형 조합을 적용하여 각 노이즈 제거기의 출력을 융합하여 공통된 추정치를 생성한다.
• 융합된 추정치는 이후에 잔여 방법 특화 노이즈를 억제하기 위해 부스터 신경망을 통과시킨다.
• 부스터 네트워크는 노이즈가 있는 이미지 패치에서 재구성 오차를 최소화하도록 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 모듈러하여 초기 단계에서 어떤 사전 훈련된 노이즈 제거기든 플러그 앤 플레이 방식으로 통합 가능하다.
• 최종 출력은 잔여 잡음이 줄어들고 구조적 정밀도가 향상된 고품질의 노이즈 제거 이미지이다.

실험 결과

연구 질문

• RQ1 메타프레임워크가 다수의 약한 노이즈 제거기를 효과적으로 조합하여 단일 노이즈 제거기보다 더 나은 성능을 달성할 수 있는가?
• RQ2 노이즈 제거기 출력의 선형 조합은 개별 노이즈 제거 결과에 비해 노이즈 감소와 잡음 억제 측면에서 어떻게 비교되는가?
• RQ3 부스터 신경망은 공통 추정치의 방법 특화 노이즈를 어느 정도 감소시킬 수 있는가?
• RQ4 이 프레임워크는 결정론적 및 딥 러닝 기반 방법을 포함한 다양한 유형의 노이즈 제거기에서 일반화 가능한가?

주요 결과

• ConsensusNet은 전통적 및 딥 러닝 기반 방법을 포함한 다양한 기본 노이즈 제거기에서 일관되게 노이즈 제거 성능을 향상시킨다.
• 선형 조합 단계는 다양한 노이즈 제거기의 상호보완적 강점을 효과적으로 통합하여 총 재구성 오차를 감소시킨다.
• 부스터 신경망은 잔여 방법 특화 노이즈를 크게 감소시켜 더 선명하고 자연스러운 노이즈 제거 이미지를 만들어낸다.
• 이 프레임워크는 개별 노이즈 제거기가 종종 실패하는 고노이즈 수준의 복잡한 장면에서도 강건성을 보여준다.
• 실험 결과는 단일 노이즈 제거기 및 단순 평균화 결과보다 측정 가능한 PSNR 및 SSIM 향상을 보였다.
• 모듈러 설계 덕분에 전체 시스템을 재훈련하지 않고도 새로운 노이즈 제거기를 간편하게 통합할 수 있다.