[논문 리뷰] On the Relation between Color Image Denoising and Classification

Jiqing Wu, Radu Timofte외 2명|arXiv (Cornell University)|2017. 04. 05.

Image and Signal Denoising Methods참고 문헌 27인용 수 12

한 줄 요약

이 논문은 사전 훈련된 분류 네트워크(AlexNet/VGG-16)의 특징을 활용하여 색상 이미지 노이즈 제거 성능을 향상시키는 새로운 딥러닝 아키텍처를 제안한다. ImageNet에서 유래한 1,000장 이상의 대규모 데이터셋을 훈련에 사용하고, 의미적 클래스 정보를 통합함으로써 최신 기법 대비 평균 PSNR 성능을 0.34–0.51 dB 향상시켰으며, 이는 분류 모델이 노이즈 제거 성능 향상에 기여할 수 있음을 보여주고, 비선형 모델에서는 노이즈가 분류 정확도를 때로 향상시킬 수 있음을 시사한다.

ABSTRACT

Large amount of image denoising literature focuses on single channel images and often experimentally validates the proposed methods on tens of images at most. In this paper, we investigate the interaction between denoising and classification on large scale dataset. Inspired by classification models, we propose a novel deep learning architecture for color (multichannel) image denoising and report on thousands of images from ImageNet dataset as well as commonly used imagery. We study the importance of (sufficient) training data, how semantic class information can be traded for improved denoising results. As a result, our method greatly improves PSNR performance by 0.34 - 0.51 dB on average over state-of-the art methods on large scale dataset. We conclude that it is beneficial to incorporate in classification models. On the other hand, we also study how noise affect classification performance. In the end, we come to a number of interesting conclusions, some being counter-intuitive.

연구 동기 및 목표

• 대규모 데이터셋에서 이미지 노이즈 제거와 이미지 분류 간의 상호작용을 조사한다.
• 분류 모델의 의미 정보를 활용하는 딥러닝 기반 색상 이미지 노이즈 제거 방법을 개발한다.
• 노이즈가 분류 성능에 미치는 영향을 평가하고, 노이즈 제거가 분류 정확도를 얼마나 향상시키는지 분석한다.
• 분류 모델을 직접 이미지 노이즈 제거에 사용할 수 있는지, 그리고 그 성능은 어떠한지 탐구한다.

제안 방법

• 엔드투엔드 색상 이미지 노이즈 제거를 위한 3D 잔차(3DR) 학습 스테이지와 사전 훈련된 분류 네트워크(AlexNet 또는 VGG-16)를 조합한다.
• 색상 이미지를 3D 텐서(H×W×3)로 간주함으로써 RGB 채널을 동시에 처리할 수 있는 다중 스케일, 다중 채널 특징 학습 방식을 적용한다.
• 사전 훈련된 네트워크의 상위 레이어에서 유도된 분류 손실과 함께 재구성 손실(L2)을 조합하여 노이즈 제거 모델을 훈련한다.
• 분류 헤드에서 유도된 의미적 클래스 정보를 활용해 노이즈 제거를 안내함으로써 특징 표현과 재구성 정밀도를 향상시킨다.
• 일반적으로 작은 규모의 벤치마크를 초월하여, ImageNet에서 유래한 1,000장 이상의 다양한 이미지로 구성된 대규모 데이터셋을 훈련 및 평가에 사용한다.
• 다음 작업에 대한 영향을 평가하기 위해, 노이즈가 가해진 이미지, 노이즈 제거된 이미지, 정제된 이미지에 대한 PSNR와 분류 정확도를 사용하여 노이즈 제거 성능을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 이미지 분류 모델이 딥러닝 기반 색상 이미지 노이즈 제거 성능을 향상시킬 수 있는가?
• RQ2 훈련 데이터의 규모가 노이즈 제거 성능에 미치는 영향은 어떠한가? 대규모 데이터는 일반화 성능을 향상시키는가?
• RQ3 분류 네트워크에서 유도된 의미적 클래스 정보가 노이즈 제거 결과에 어느 정도 기여하는가?
• RQ4 노이즈 제거가 노이즈가 가해진 이미지의 분류 정확도를 향상시키는가? 만약 그렇다면, 그 정도는 어느 정도인가?
• RQ5 분류 모델 자체를 직접 이미지 노이즈 제거에 사용할 수 있는가? 그리고 그 성능는 전용 노이즈 제거 방법과 비교해 어떻게 되는가?

주요 결과

• 제안된 3DR+VGG-16 및 3DR+AlexNet 모델은 ImageNet 데이터셋에서 최신 기법 대비 평균 0.34–0.51 dB의 PSNR 향상을 달성한다.
• 노이즈 제거로 인해 분류 정확도가 크게 향상된다: σ=25일 경우, 기준 노이즈 이미지 대비 AlexNet은 7.3% 향상되고, VGG-16은 6.9% 향상된다.
• σ=50일 경우, 향상률은 AlexNet 기준 22.4%, VGG-16 기준 10.7%에 달하여, 노이즈 제거가 후속 작업에서의 강인성을 높임을 확인한다.
• 놀랍게도 1.4–3.5%의 경우, 분류 모델이 노이즈가 가해진 이미지에서만 정확하게 클래스를 식별하는 것으로 나타나, 노이즈가 때로 모델의 신뢰도와 성능을 향상시킬 수 있음을 시사한다.
• 직접 분류 모델을 사용해 노이즈 제거를 수행하는 경우(softmax 손실 기반), σ=50일 때 AlexNet에서 정확도가 오직 11.4%에 그쳐, 회귀 손실을 사용한 지도 학습 기반 노이즈 제거가 훨씬 효과적임을 보여준다.