[논문 리뷰] An empirical study on the effects of different types of noise in image classification tasks

Gabriel B. Costa, Welinton A. Contato외 3명|arXiv (Cornell University)|2016. 09. 09.

Image Retrieval and Classification Techniques참고 문헌 19인용 수 49

한 줄 요약

이 논문은 LBP 및 HOG 기반 기술자 사용 시 다양한 노이즈 유형(Gaussian, Poisson, speckle)이 이미지 분류 성능에 미치는 영향을 실험적으로 조사하며, 이러한 영향을 완화하기 위한 노이즈 제거 기법을 평가한다. 결과적으로 노이즈는 F1-스코어를 상당히 감소시키며, 특히 높은 수준의 노이즈에서 두드러진다. 노이즈 제거 기법은 원시 노이즈 이미지 대비 성능 향상을 보이나, 노이즈가 없는 모델의 정확도에 도달하지 못함을 보여주며, 이는 문턱과 세부 정보 손실 때문임을 시사한다.

ABSTRACT

Image classification is one of the main research problems in computer vision and machine learning. Since in most real-world image classification applications there is no control over how the images are captured, it is necessary to consider the possibility that these images might be affected by noise (e.g. sensor noise in a low-quality surveillance camera). In this paper we analyse the impact of three different types of noise on descriptors extracted by two widely used feature extraction methods (LBP and HOG) and how denoising the images can help to mitigate this problem. We carry out experiments on two different datasets and consider several types of noise, noise levels, and denoising methods. Our results show that noise can hinder classification performance considerably and make classes harder to separate. Although denoising methods were not able to reach the same performance of the noise-free scenario, they improved classification results for noisy data.

연구 동기 및 목표

• LBP 및 HOG 기반 기술자를 사용할 때 다양한 노이즈 유형이 이미지 분류 성능에 미치는 영향을 평가하는 것.
• 성능 저하가 클래스 간 선형 분리 가능성 감소 때문인지, 또는 모델의 노이즈 입력에 대한 강건성 부족 때문인지 파악하는 것.
• 노이즈 제거 기법이 노이즈가 있는 이미지 환경에서 분류 성능을 복원할 수 있는지 평가하는 것.

제안 방법

• 연구는 Caltech101-600 및 Corel 두 개의 데이터셋을 사용하며, 이미지에 Gaussian, Poisson, speckle 노이즈를 다양한 수준으로 도입한다.
• 표준 설정(균일 패턴 및 히스토그램 기반 인코딩)을 사용해 원본, 노이즈가 있는, 노이즈 제거된 이미지에서 LBP 및 HOG 기술자를 추출한다.
• 선형 SVM 분류기를 모든 데이터 유형(노이즈 없음, 노이즈 있음, 노이즈 제거됨)에 대해 훈련 및 테스트하며, 그리드 서치를 통해 초모수를 최적화한다.
• 비국소 평균, BM3D, 양면 필터를 사용해 노이즈 제거를 적용하여 분류 성능에 미치는 영향을 평가한다.
• 성능 평가에는 F1-스코어를 사용하며, 노이즈 유형, 수준, 데이터 구성에 따라 결과를 시각화한 히트맵을 제작한다.
• 노이즈가 있는 데이터로 훈련된 모델과 동일하거나 다른 노이즈 유형으로 테스트된 모델을 비교하여, 분리 가능성과 강건성에 미치는 노이즈의 영향을 분리 분석한다.

실험 결과

연구 질문

• RQ1 LBP 및 HOG 기반 기술자를 사용할 때 노이즈가 있는 이미지에 적용하면 이미지 분류기의 성능이 떨어지는가?
• RQ2 성능 저하는 노이즈로 인해 클래스 간 선형 분리 가능성 감소 때문인지, 또는 모델이 노이즈 입력에 강건하지 않기 때문인가?
• RQ3 노이즈 제거 기법은 노이즈가 있는 이미지 데이터의 분류 정확도를 향상시킬 수 있으며, 노이즈 없는 기준 대비 얼마나 성능을 복원하는가?

주요 결과

• 노이즈 없는 이미지로 훈련하고 테스트한 분류기는 가장 높은 F1-스코어를 기록하며, 노이즈 수준이 높아질수록 성능이 상당히 감소한다.
• 각 히트맵의 대각선은 노이즈가 있는 데이터로 훈련된 어떤 모델도 노이즈 없는 기준을 초월하지 못함을 보여주며, 이는 노이즈로 인해 클래스 간 분리 가능성 감소를 의미한다.
• 노이즈 제거 기법은 원시 노이즈 이미지 대비 노이즈가 있는 이미지의 분류 결과를 향상시키지만, 여전히 노이즈 없는 성능에 못 미친다.
• 노이즈 제거된 이미지로 훈련한 모델은 노이즈가 있는 이미지로 테스트했을 때 성능이 열악한데, 이는 노이즈 제거 과정에서 분류에 기여하는 문턱 특징가 제거되었을 가능성을 시사한다.
• LBP 및 HOG 기술자는 노이즈에 민감하여, 다양한 노이즈 수준에서 일관되지 않은 특징 표현을 유도한다.
• 모든 기술자 및 데이터셋에 관계없이, 항상 훈련 및 테스트를 노이즈 없는 데이터에서 수행할 때 F1-스코어가 가장 높게 유지된다.