[논문 리뷰] Deep Class Aware Denoising

Tal Remez, Or Litany외 2명|arXiv (Cornell University)|2017. 01. 06.

Image and Signal Denoising Methods참고 문헌 52인용 수 7

한 줄 요약

이 논문은 얼굴이나 꽃과 같은 특정 의미적 이미지 클래스에서 컨volutional neural network(DenoiseNet)을 미세조정함으로써 이미지 복소화 성능을 햖थ하는 클래스 인식 기반의 딥 노이즈 제거 프레임워크를 제안한다. 사전 훈련된 이미지 분류기들을 활용하고 각 클래스에 맞게 디노이저를 적응시킴으로써, 클래스 무관 기반 보다 최대 0.4 dB의 PSNR 향상을 달성하며, 의미적 인식이 재구성 품질을 크게 향상시킨다는 것을 입증한다.

ABSTRACT

The increasing demand for high image quality in mobile devices brings forth the need for better computational enhancement techniques, and image denoising in particular. At the same time, the images captured by these devices can be categorized into a small set of semantic classes. However simple, this observation has not been exploited in image denoising until now. In this paper, we demonstrate how the reconstruction quality improves when a denoiser is aware of the type of content in the image. To this end, we first propose a new fully convolutional deep neural network architecture which is simple yet powerful as it achieves state-of-the-art performance even without being class-aware. We further show that a significant boost in performance of up to $0.4$ dB PSNR can be achieved by making our network class-aware, namely, by fine-tuning it for images belonging to a specific semantic class. Relying on the hugely successful existing image classifiers, this research advocates for using a class-aware approach in all image enhancement tasks.

연구 동기 및 목표

• 모바일 사진 촬영에서 흔한 의미적 콘텐츠 클래스가 이미지 복소화 과정에서 활용되지 않는 점을 고려한 격차를 해결하기 위해.
• 특정 의미적 이미지 클래스에 맞게 디노이저를 조정함으로써 복소화 성능 향상이 가능한지 조사하기 위해.
• 일반 목적의 디노이저를 클래스별 데이터로 미세조정하면 성능 향상이 상당히 이루어진다는 것을 입증하기 위해.
• 사전 구매 가능한 이미지 분류기를 사용해 클래스 인식 기반 이미지 향상이 가능한지 탐색하기 위해.
• 최신 기술의 이미지 분류기가 높은 노이즈 조건에서도 여전히 강건함을 유지하여, 디노이징을 위한 신뢰할 수 있는 클래스 할당이 가능하다는 것을 검증하기 위해.

제안 방법

• 의미적 인식 없이도 최고 성능을 내는 강력한 베이스라인 디노이저로, 완전 컨volutional 딥 신경망(DenoiseNet)을 제안한다.
• 특정 의미적 클래스(예: 얼굴, 꽃)의 이미지 데이터를 사용해 클래스별 훈련 데이터로 네트워크를 미세조정한다.
• 의미적 레이블 할당을 가능하게 하기 위해 사전 훈련된 이미지 분류기(예: ResNet)를 사용해 입력 이미지에 의미적 레이블을 할당한다.
• 노이즈 제거 과정은 점진적이다: 각 레이어가 노이즈의 일부를 추정하고 제거하며, 浅층 레이어는 평탄한 영역을 다루고, 깊은 레이어는 윤곽선과 무늬를 집중적으로 처리한다.
• 레이어 간 노이즈 추정을 시각화한 결과, 깊은 레이어가 윤곽선 복원에 더 기여하는 것으로 나타났다.
• 각 픽셀의 값이 디노이징 과정에서 가장 크게 변화시키는 레이어를 식별하기 위해 레이어별 기여도 맵을 생성한다.

실험 결과

연구 질문

• RQ1 의미적 클래스 정보를 디노이징 과정에 통합함으로써 이미지 복소화 성능 향상이 가능한가?
• RQ2 일반 목적의 디노이저를 클래스별 데이터로 미세조정하면 PSNR와 시각적 품질이 어느 정도 향상되는가?
• RQ3 네트워크에서 관찰된 점진적 노이즈 제거 행동은 효과적인 복소화 원칙과 일치하는가?
• RQ4 다양한 네트워크 레이어가 의미적 클래스 간에 노이즈 추정과 이미지 재구성에 어떻게 기여하는가?
• RQ5 사전 구매 가능한 이미지 분류기를 사용해 클래스 인식 기반 디노이징을 위한 의미적 클래스 할당을 신뢰성 있게 수행할 수 있는가?

주요 결과

• 클래스별 데이터로 디노이저를 미세조정하면, 클래스 무관 기반 대비 최대 0.4 dB의 PSNR 향상이 이루어지며 성능 향상이 뚜렷하다.
• 의미적 인식 기반 디노이저는 일반 목적의 디노이저가 자주 유도하는 잡음과 같은 잡음 요소를 줄여 더 뛰어난 시각적 결과를 만들어낸다. 특히 복잡한 무늬나 얼굴 특징에서 두드러진다.
• 디노이징 과정은 본질적으로 점진적이다: 노이즈는 레이어 간에 점진적으로 제거되며, 얕은 레이어는 평탄한 영역을 다루고, 깊은 레이어는 윤곽선과 무늬에 집중한다.
• 단조적 오차 감소를 위한 명시적 훈련 목표 없이도, 모든 테스트 이미지에서 레이어 깊이가 증가할수록 재구성 오차가 지속적으로 감소한다.
• 대부분의 픽셀에서 첫 번째 몇 레이어가 디노이징 과정을 주도하지만, 깊은 레이어는 윤곽선과 무늬를 정밀하게 보정함으로써 계층적 처리 전략을 따르고 있음을 시사한다.
• 레이어 간 내부 노이즈 추정 결과는 뚜렷한 역할 분담을 보이며, 초기 레이어는 국소적 노이즈를 탐지하고, 깊은 레이어는 전반적인 구조적 패턴을 포착한다.