[논문 리뷰] Vehicle classification using ResNets, localisation and spatially-weighted pooling

Rohan Watkins, Nick Pears외 1명|arXiv (Cornell University)|2018. 10. 15.

Advanced Neural Network Applications참고 문헌 4인용 수 5

한 줄 요약

이 논문은 공간 가중 풀링(SWP)과 전용 국소화 네트워크를 사용한 ResNet-50 기반의 세분화된 차량 분류 방법을 제안하며, 종합 차량 데이터셋에서 96.351%의 top-1 정확도를 달성한다. 표준 ResNet-50 대비 3.7个百分点 향상되었으며, SWP와 국소화의 병합 사용으로 인해 성능 향상이 이루어졌지만, 여전히 사전 훈련된 최신 모델보다는 약간 낮은 성능을 보인다.

ABSTRACT

We investigate whether ResNet architectures can outperform more traditional Convolutional Neural Networks on the task of fine-grained vehicle classification. We train and test ResNet-18, ResNet-34 and ResNet-50 on the Comprehensive Cars dataset without pre-training on other datasets. We then modify the networks to use Spatially Weighted Pooling. Finally, we add a localisation step before the classification process, using a network based on ResNet-50. We find that using Spatially Weighted Pooling and localisation both improve classification accuracy of ResNet50. Spatially Weighted Pooling increases accuracy by 1.5 percent points and localisation increases accuracy by 3.4 percent points. Using both increases accuracy by 3.7 percent points giving a top-1 accuracy of 96.351\% on the Comprehensive Cars dataset. Our method achieves higher accuracy than a range of methods including those that use traditional CNNs. However, our method does not perform quite as well as pre-trained networks that use Spatially Weighted Pooling.

연구 동기 및 목표

• 사전 훈련 없이 세분화된 차량 분류에서 ResNet 아키텍처가 전통적인 CNN보다 우수한 성능을 내는지 평가하는 것.
• 공간 가중 풀링(SWP)이 차량 인식에서 분류 정확도에 미치는 영향을 조사하는 것.
• 국소화 네트워크가 차량 분류 성능 향상에 기여하는 정도를 평가하는 것.
• 사전 훈련된 모델을 사용한 기존 최신 기술과의 성능 비교

제안 방법

• 모델은 ImageNet 사전 훈련 없이 종합 차량 데이터셋에서 끌어올린 ResNet-50을 특징 추출 백본으로 사용한다.
• 최종 합성곱층 이후에 공간 가중 풀링(SWP)을 적용하여 공간적으로 관련성이 높은 특징을 강조하며, 바운딩 박스의 치수와 위치 기반으로 버킷화한다.
• 차량의 바운딩 박스를 예측하기 위해 별도의 ResNet-50 기반 국소화 네트워크를 훈련시켜 분류 이전에 특징의 관련성을 향상시킨다.
• 국소화 네트워크는 ResNet-50 특징 추출기 위에 회귀 헤드를 추가하여 차량 바운딩 박스의 x, y 좌표, 너비, 높이를 예측한다.
• 최종 분류 헤드는 1024개 유닛을 가진 완전 연결층과 소프트맥스를 사용하며, SWP가 공간 특징 표현을 강화한다.
• 국소화 네트워크의 출력과 SWP 강화 특징을 조합하여 분류 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련 없이 ResNet 아키텍처가 전통적인 CNN보다 세분화된 차량 분류에서 뛰어난 성능을 내는가?
• RQ2 공간 가중 풀링(SWP)이 차량 인식 작업에서 분류 정확도에 얼마나 기여하는가?
• RQ3 전용 국소화 네트워크가 차량 분류 성능 향상에 얼마나 기여하는가?
• RQ4 사전 훈련을 사용한 최신 모델과 비교할 때 제안된 방법의 정확도는 어떻게 되는가?

주요 결과

• 공간 가중 풀링(SWP)만으로도 표준 ResNet-50 대비 top-1 정확도가 1.5个百分点 향상된다.
• 국소화 네트워크만으로도 top-1 정확도가 3.4个百分点 향상된다.
• SWP와 국소화를 함께 사용할 경우 top-1 정확도가 3.7个百分点 향상되어 96.351%에 도달한다.
• 최고 성능 모델의 top-5 정확도는 99.463%에 이르며, 예측 오류에 대한 강건성을 보여준다.
• 비-ResNet 기반 모델인 딥 에지-컬러 방법(95.9% top-1)보다 높은 정확도를 달성하지만, 파rameter 수가 더 많다(67M 대비 11M).
• 국소화 네트워크는 강건하며, 99%의 예측값이 진짜 값에서 10.5 픽셀 이내의 버킷에 포함되지만, 너비와 높이 예측은 위치 예측보다 정확도가 낮다.