[논문 리뷰] On Classification of Distorted Images with Deep Convolutional Neural Networks

Yiren Zhou, Sibo Song외 1명|arXiv (Cornell University)|2017. 01. 08.

Image Processing Techniques and Applications참고 문헌 13인용 수 6

한 줄 요약

이 논문은 이미지 왜곡—흐림과 노이즈—이 딥 컨volution 신경망(DCNN) 분류기에 미치는 영향을 조사하고, 정확도를 향상시키기 위한 테스트 방법으로 피니팅(fine-tuning)을 제안한다. 사전 훈련된 DCNN의 첫 번째 몇 층을 왜곡된 이미지로 피니팅함으로써, 깨끗한 이미지와 왜곡된 이미지 양쪽 모두에서 높은 정확도를 유지할 수 있으며, 특히 데이터가 제한된 경우 재훈련보다 효율성과 일반화 능력에서 뛰어나다.

ABSTRACT

Image blur and image noise are common distortions during image acquisition. In this paper, we systematically study the effect of image distortions on the deep neural network (DNN) image classifiers. First, we examine the DNN classifier performance under four types of distortions. Second, we propose two approaches to alleviate the effect of image distortion: re-training and fine-tuning with noisy images. Our results suggest that, under certain conditions, fine-tuning with noisy images can alleviate much effect due to distorted inputs, and is more practical than re-training.

연구 동기 및 목표

• 이미지 왜곡—운동 흐림, 초점 흐림, 가우시안 노이즈, 그리고 그 조합—이 딥 네트워크 분류기에 미치는 영향을 체계적으로 평가하기 위해.
• 왜곡된 이미지를 사용해 재훈련 또는 피니팅을 통해 분류 정확도를 향상시킬 수 있는지 조사하기 위해.
• 왜곡된 이미지 분류에 대해 피니팅과 전체 재훈련의 실용성과 효과성을 평가하기 위해.
• 왜곡으로 인한 에지 및 텍스처 정보 손실을 측정하기 위해 특징 맵 기울기 분산을 대체 지표로 분석하기 위해.

제안 방법

• 연구는 사전 훈련된 DCNN(LeNet-5, CIFAR10-quick, AlexNet)을 사용하여, MNIST, CIFAR-10, ImageNet 데이터셋에서 통제된 왜곡 조건 하에서 성능을 평가한다.
• 왜곡된 이미지는 청소년 이미지에 운동 흐림, 초점 흐림, 가우시안 노이즈를 다양한 수준으로 적용하여 생성된다.
• 피니팅은 나머지 네트워크를 동결한 상태에서 첫 번째 몇 층의 가중치만 업데이트함으로써 수행되며, 왜곡된 훈련 데이터를 사용한다.
• 재훈련은 전체 네트워크를 왜곡된 데이터로 재훈련하는 것으로, 비교를 위한 기준이 된다.
• 에지 및 텍스처 정보 손실의 정도를 측정하기 위해 소벨 필터를 사용해 특징 맵의 기울기 크기 분산을 계산한다.
• 특징 맵 간 평균 기울기 크기 분산을 사용해 왜곡 조건 하에서 표현 품질을 평가하는 지표로 활용한다.

실험 결과

연구 질문

• RQ1 운동 흐림, 초점 흐림, 가우시안 노이즈, 그리고 그 조합과 같은 다양한 유형의 이미지 왜곡이 딥 컨volution 신경망의 분류 정확도에 어떤 영향을 미치는가?
• RQ2 사전 훈련된 DCNN의 첫 번째 몇 층을 왜곡된 이미지로 피니팅하면 원본 모델 대비 왜곡된 입력에서의 분류 성능이 향상되는가?
• RQ3 훈련 데이터가 제한된 상황에서 피니팅과 전체 재훈련은 정확도, 수렴 속도, 내성 측면에서 어떻게 비교되는가?
• RQ4 분류 과정에서 왜곡된 이미지를 다룰 때, 모델이 에지 및 텍스처 정보(기울기 분산으로 측정)를 얼마나 잘 유지하는가?

주요 결과

• 사전 훈련된 AlexNet 모델의 첫 세 층을 왜곡된 ImageNet 데이터로 피니팅함으로써, 왜곡된 이미지에서의 상위-1 오차율은 53.1%에서 47.7%로 감소했고, 깨끗한 이미지에서는 원래의 42.9% 오차율을 유지했다.
• 원본 사전 훈련된 모델을 사용할 경우, 왜곡된 이미지에서 특징 맵 기울기 크기 분산이 유의미하게 감소하여, 에지 및 텍스처 정보 손실이 발생하는 것으로 나타났다.
• 왜곡된 이미지로 피니팅을 수행한 후, 평균 기울기 크기 분산이 깨끗한 이미지 수준에 가까운 수준으로 유지되어, 향상된 특징 표현이 이루어졌음을 시사한다.
• 왜곡된 데이터로 재훈련한 모델는 원본 모델보다 더 높은 기울기 분산을 보였으며, 이는 재훈련된 모델가 왜곡된 분포에 적응했지만 반드시 깨끗한 데이터 표현에 적합하지는 않음을 의미한다.
• 왜곡된 데이터셋이 작을 경우, 피니팅은 재훈련보다 더 효율적이며 과적합의 위험도 낮아, 실생활 응용에 더 실용적이다.
• 저수준에서 중간 수준의 왜곡 수준에서는 피니팅이 재훈련보다 유사하거나 더 뛰어난 성능을 보였고, 계산 시간도 크게 줄였다.