[논문 리뷰] Effects of Image Degradations to CNN-based Image Classification

Yanting Pei, Yaping Huang외 4명|arXiv (Cornell University)|2018. 10. 12.

Image Enhancement Techniques참고 문헌 26인용 수 17

한 줄 요약

이 논문은 흐림, 수중 조건, 운동 흐림, 펜트라인 왜곡과 같은 널리 퍼진 이미지 열화가 CNN 기반 이미지 분류에 미치는 영향을 경험적으로 연구한다. 물리 모델을 적용한 합성 데이터셋과 실제 안개가 낀 이미지를 사용하여, 분류 정확도가 열화 수준이 높아질수록 크게 떨어지며, 특히 훈련 데이터와 테스트 데이터의 열화 수준이 다를 경우 더욱 심각한 성능 저하가 발생함을 보여주며, 탈안개화나 탈흐림 알고리즘을 통한 사전 처리는 직접적으로 열화된 데이터로 훈련하는 것보다는 미미한 성능 향상을 보임을 확인한다.

ABSTRACT

Just like many other topics in computer vision, image classification has achieved significant progress recently by using deep-learning neural networks, especially the Convolutional Neural Networks (CNN). Most of the existing works are focused on classifying very clear natural images, evidenced by the widely used image databases such as Caltech-256, PASCAL VOCs and ImageNet. However, in many real applications, the acquired images may contain certain degradations that lead to various kinds of blurring, noise, and distortions. One important and interesting problem is the effect of such degradations to the performance of CNN-based image classification. More specifically, we wonder whether image-classification performance drops with each kind of degradation, whether this drop can be avoided by including degraded images into training, and whether existing computer vision algorithms that attempt to remove such degradations can help improve the image-classification performance. In this paper, we empirically study this problem for four kinds of degraded images -- hazy images, underwater images, motion-blurred images and fish-eye images. For this study, we synthesize a large number of such degraded images by applying respective physical models to the clear natural images and collect a new hazy image dataset from the Internet. We expect this work can draw more interests from the community to study the classification of degraded images.

연구 동기 및 목표

• 일반적인 이미지 열화가 CNN 기반 이미지 분류 모델의 성능에 미치는 영향을 조사하는 것.
• 클리어한 이미지로 훈련하고 열화된 이미지로 테스트하는 것과 비교하여, 열화된 이미지로 훈련하는 것이 분류 정확도를 향상시키는지 평가하는 것.
• 기존의 이미지 복원 알고리즘(예: 탈안개화, 탈흐림화)이 열화된 입력에 대해 분류 성능을 향상시키는지 평가하는 것.
• 향후 강건한 이미지 분류 연구를 위한 합성 및 실제 열화된 이미지의 벤치마크 데이터셋을 제공하는 것.
• 실세계의 열화 조건 하에서 강건한 딥 러닝 모델 개발을 위한 추가 연구를 촉진하는 것.

제안 방법

• 청명한 자연 이미지에 물리 모델을 적용하여 안개, 수중, 운동 흐림, 펜트라인 왜곡 이미지의 대규모 합성 데이터셋을 생성하였다.
• 인터넷에서 수집한 실제 안개가 낀 이미지 데이터셋을 합성 데이터를 보완하기 위해 활용하였다.
• 다양한 열화 수준을 가진 합성 및 실제 열화된 이미지 세트에서 AlexNet과 VGGNet-16 등의 CNN 모델을 훈련하고 평가하였다.
• 교차 훈련 및 교차 테스트 실험을 수행: 한 열화 수준에서 훈련하고 다른 수준에서 테스트하여 일반화 능력을 평가하였다.
• 최신의 이미지 복원 알고리즘(안개 제거, 탈흐림화, 왜곡 보정)을 테스트 이미지에 적용하여 분류 이전에 복원하고, 그 효과를 평가하였다.
• 초기 CNN 레이어의 특징 맵을 시각화하여 열화가 저수준 특징 학습에 어떤 영향을 미치는지 분석하였다.

실험 결과

연구 질문

• RQ1 안개, 흐림, 수중, 펜트라인 열화가 CNN 기반 모델의 분류 정확도에 어떤 영향을 미치는가?
• RQ2 클리어한 이미지로 훈련하고 유사하게 열화된 이미지로 테스트하는 것과 비교하여, 열화된 이미지로 훈련하는 것이 성능을 향상시키는가?
• RQ3 복원 알고리즘(예: 탈안개화, 탈흐림화)을 사용해 열화된 테스트 이미지를 사전 처리하는 것이 직접 추론보다 분류 정확도를 향상시키는가?
• RQ4 다양한 종류의 이미지 열화 간에 강건성에 큰 차이가 있는가?
• RQ5 초기 CNN 레이어에서의 열화된 특징이 성능 저하와 얼마나 관련이 있는가?

주요 결과

• 분류 정확도는 열화 수준이 높아질수록 크게 떨어지며, 특히 훈련 데이터가 클리어하고 테스트 데이터가 열화된 경우에 더욱 심각한 성능 저하가 발생한다.
• 동일한 열화 수준에서 훈련 및 테스트를 수행할 경우 정확도가 가장 높으며(예: β=2.0일 때 안개 이미지의 경우 77.7%), 클리어한 이미지로 훈련하고 열화된 이미지로 테스트하는 것보다 유의미하게 뛰어나다.
• 복원 알고리즘(예: 안개 제거, 탈흐림화)을 사용해 열화된 테스트 이미지를 사전 처리하는 것은 정확도 향상에 미미한 기여만 한다—예를 들어 운동 흐림 이미지의 경우 e=3.0일 때 41.8%에서 55.0%로 상승하나, 동일 수준의 훈련 성능에 못 미친다.
• 열화 제거 과정은 열화로 인해 손실된 분류에 유용한 특징을 복원하지 못하므로, 직접적으로 열화된 데이터로 훈련하는 것보다는 성능 향상이 크게 이루어지지 않는다.
• 초기 레이어 활성화의 시각화 결과는 열화된 이미지에서는 저수준 특징(모서리, 무늬 등)이 잘 포착되지 않으며, 이는 성능 저하와 관련이 있음을 보여준다.
• 모든 종류의 열화에 대해, 동일한 열화 수준에서 훈련 및 테스트를 수행할 때 가장 높은 성능가 도달하며, 이는 도메인 시프트가 핵심 과제임을 시사한다.