[논문 리뷰] Examining the Impact of Blur on Recognition by Convolutional Networks

Igor Vasiljevic, Ayan Chakrabarti외 1명|arXiv (Cornell University)|2016. 11. 17.

Image Enhancement Techniques참고 문헌 25인용 수 146

한 줄 요약

이 논문은 블러가 CNN 기반 인식에 미치는 영향을 분석하고, 흐릿한 이미지로 파인튜닝하면 정확도의 손실을 크게 회복하고 흐림 불변 표현을 유도한다는 것을 보여준다; 강건성은 블러 유형을 넘나들며 흐림 하에서 분할도 개선된다.

ABSTRACT

State-of-the-art algorithms for many semantic visual tasks are based on the use of convolutional neural networks. These networks are commonly trained, and evaluated, on large annotated datasets of artifact-free high-quality images. In this paper, we investigate the effect of one such artifact that is quite common in natural capture settings: optical blur. We show that standard network models, trained only on high-quality images, suffer a significant degradation in performance when applied to those degraded by blur due to defocus, or subject or camera motion. We investigate the extent to which this degradation is due to the mismatch between training and input image statistics. Specifically, we find that fine-tuning a pre-trained model with blurred images added to the training set allows it to regain much of the lost accuracy. We also show that there is a fair amount of generalization between different degrees and types of blur, which implies that a single network model can be used robustly for recognition when the nature of the blur in the input is unknown. We find that this robustness arises as a result of these models learning to generate blur invariant representations in their hidden layers. Our findings provide useful insights towards developing vision systems that can perform reliably on real world images affected by blur.

연구 동기 및 목표

• 고품질 이미지로 학습된 CNN 기반 이미지 분류 및 분할에 광학적 흐림이 어떤 영향을 미치는지 평가한다.
• 이미지넷 및 VOC2012 기반 작업에서 초점 흐림(defocus), 모션 흐림, 카메라 흔들림 흐림에 따른 성능 저하를 정량화한다.
• 흐릿한 이미지로의 파인튜닝이 정확도를 회복하고 표현에서 흐림 불변성을 유도하는지 조사한다.
• 교차 흐림 일반화를 탐구하고 혼합 흐림 파인튜닝을 명시적 디블러링 방법과 비교한다.

제안 방법

• ImageNet에서 사전 학습된 VGG-16을 사용하여, 다중 흐림 커널(defocus, motion, camera shake, Gaussian)을 적용한 ImageNet 검증 이미지의 흐림 버전에 대해 평가한다.
• 고정 스케일에서 선명한 이미지와 흐림 이미지를 혼합해 파인튜닝하고(그리고 스케일 변화를 포함) 강건성을 평가한다.
• 블러 하에서 층별 활성화 유사도를 분석하여 흐림 불변성이 어디에서 나타나는지 이해한다.
• 이미 알려진 커널로의 명시적 디블러링과 혼합 흐림 파인튜닝을 비교한다.
• 흐림 입력을 갖는 VOC2012의 Zoomout 기반 네트워크를 사용한 의미론적 분할에 분석을 확장한다.

실험 결과

연구 질문

• RQ1 날카로운 이미지를 학습한 CNN의 top-5 정확도와 예측 신뢰도에 흐림이 어떤 영향을 미치는가?
• RQ2 흐림 데이터로의 파인튜닝이 정확도를 회복하고 흐림 불변의 내부 표현을 생성할 수 있는가?
• RQ3 다른 블러 유형과 정도에 걸쳐 강건성이 일반화되는가, 그리고 스케일이 이 강건성에 어떻게 영향을 미치는가?
• RQ4 혼합 흐림 파인튜닝이 선명 이미지 분류기 뒤에 있는 디블러링보다 더 효과적인가?
• RQ5 흐림에 대한 강건한 학습의 개선이 의미론적 분할에도 확장되는가?

주요 결과

• 블러는 흐림 입력에서 CNN 정확도를 크게 떨어뜨리며, 더 큰 커널이 더 큰 감소를 야기한다.
• 선명한 이미지와 흐림 이미지의 혼합으로 파인튜닝하면 흐림 입력에서 손실된 정확도의 대부분을 회복하고, 선명한 이미지의 손실은 미미하다.
• 다양한 흐림 스케일로 학습하면 흐림 유형 간 일반화가 가능하며, 초점 흐림(defocus)과 카메라 흔들림이 서로의 일반화를 향상시키지만 일부 교차 흐림 일반화는 미완전하다.
• 블러-강건 학습은 흐림 없는 이미지에서의 예측 엔트로피를 흐림 이미지에서보다 덜 증가시키고 흐림 입력에서 더 높은 신뢰도를 보여준다.
• 고정 스케일(256)에서 혼합 흐림으로 파인튜닝은 강력한 강건성을 제공하고, 다중 스케일(256+512)은 메모리 비용이 있지만 미미한 이점을 줄 수 있으며, 스케일별 네트워크는 소폭의 개선을 보인다.
• 명시적 디블러링과 비교하면 흐림에 강건한 파인튜닝이 비슷하거나 더 나은 정확도를 달성하되 계산 비용은 훨씬 낮다(디블러링은 비용이 많이 든다).
• 의미론적 분할(VOC2012)에서 흐림으로 파인튜닝하면 흐림 이미지의 mIOU가 향상되지만 분류에 비해 선명한 이미지와의 격차는 더 큼。