[논문 리뷰] Deep CNN Ensemble with Data Augmentation for Object Detection

Jian Guo, Stephen Jay Gould|arXiv (Cornell University)|2015. 06. 24.

Advanced Neural Network Applications참고 문헌 2인용 수 46

한 줄 요약

이 논문은 데이터 증강을 통한 깊이 있는 CNN 앙상블을 제안하여 객체 검출 성능을 향상시킨다. GoogleNet과 VGG-16 모델을 사용하며, 확장된 PASCAL VOC 학습 세트에 Microsoft COCO 이미지를 통합하여 미세 조정한다. 다양한 데이터로 훈련된 다수의 모델 예측 평균을 통해, 제출 시점에 PASCAL VOC 2012 테스트 세트에서 70.3%의 mAP를 달성하여 기존 방법을 능가한다. 이는 모델 앙상블과 데이터 확장 덕분이다.

ABSTRACT

We report on the methods used in our recent DeepEnsembleCoco submission to the PASCAL VOC 2012 challenge, which achieves state-of-the-art performance on the object detection task. Our method is a variant of the R-CNN model proposed Girshick:CVPR14 with two key improvements to training and evaluation. First, our method constructs an ensemble of deep CNN models with different architectures that are complementary to each other. Second, we augment the PASCAL VOC training set with images from the Microsoft COCO dataset to significantly enlarge the amount training data. Importantly, we select a subset of the Microsoft COCO images to be consistent with the PASCAL VOC task. Results on the PASCAL VOC evaluation server show that our proposed method outperform all previous methods on the PASCAL VOC 2012 detection task at time of submission.

연구 동기 및 목표

• 딥 러닝 기법을 사용하여 PASCAL VOC 2012 데이터셋에서 객체 검출 성능을 향상시키는 것.
• 다양한 CNN 아키텍처를 사용한 모델 앙상블이 검출 정확도에 미치는 영향을 조사하는 것.
• Microsoft COCO 데이터셋을 사용한 데이터 증강이 PASCAL VOC 검출 작업에 효과적인지 평가하는 것.
• 다른 데이터 세트에서 훈련된 다수의 모델 예측을 조합함으로써 일반화 능력과 성능 향상 여부를 확인하는 것.

제안 방법

• 이 방법은 ImageNet에서 사전 훈련된 두 개의 깊이 있는 CNN 모델—GoogleNet과 VGG-16—을 사용하며, PASCAL VOC 2012에서 미세 조정한다.
• 훈련 데이터는 PASCAL VOC 2012와 Microsoft COCO 2014 데이터셋을 결합하여 확장하여 더 크고 다양한 훈련 세트를 만든다.
• 미세 조정은 기준 학습률 10^-3, 모멘터럼 0.9, 가중치 감쇠 5×10^-4를 사용한 확률적 경사 하강법으로 100,000 반복 동안 수행된다.
• 분류를 위해 마지막 평균 풀링 레이어에서 특징 벡터를 추출한다 (GoogleNet은 1024D, VGG-16은 4096D).
• 최종 예측은 6개의 네트워크(두 모델이 세 개의 데이터 분할에 대해 훈련됨)에서 나온 예측의 평균을 통해 도출된다.
• 선택적 검색 제안 영역에 대해 바운딩 박스 회귀를 적용하며, 최종 예측은 모든 6개의 네트워크에서 평균화된 SVM 점수와 회귀된 좌표를 기반으로 한다.

실험 결과

연구 질문

• RQ1 다른 아키텍처를 가진 여러 개의 깊이 있는 CNN 모델을 조합하면 PASCAL VOC 2012에서 객체 검출 성능이 향상되는가?
• RQ2 PASCAL VOC에서 미세 조정할 때 Microsoft COCO 데이터셋을 사용한 데이터 증강이 검출 정확도에 어느 정도 기여하는가?
• RQ3 다른 데이터 세트에서 훈련된 여러 네트워크의 예측을 평균화함으로써 일반화 능력과 mAP에 어떤 영향을 미치는가?
• RQ4 일정 수준 이상의 모델을 앙상블에 추가할 경우 성능 향상의 여부는 어떻게 되는가?

주요 결과

• PASCAL VOC 2007+2012 데이터셋에 대해 GoogleNet과 VGG-16 모델을 앙상블하여 미세 조정한 결과, 검증 세트에서 65.0%의 mAP를 달성하였으며, 이는 이전 최고의 사모델 앙상블 대비 2.3% 향상된 성능이다.
• 최종 모델은 VOC+COCO 증강 데이터셋에서 훈련된 6개의 네트워크를 사용하여 PASCAL VOC 2012 검증 세트에서 68.3%의 mAP를 기록하였으며, 이는 단일 모델 기반 베이스라인 대비 3.3% 향상된 성능이다.
• 바운딩 박스 회귀를 적용하고 6개의 네트워크에서 예측을 평균화한 결과, PASCAL VOC 2012 테스트 세트에서 mAP가 70.3%로 상승하여 제출 당시 최상위 순위 제출 성과를 달성하였다 (2015년 5월 3일 기준).
• 8개의 네트워크와 바운딩 박스 회귀를 사용한 결과, 테스트 세트 mAP는 70.1%였으며, 이는 후속 최신 기술 대비 0.6% 높은 mAP(70.7%)를 기록하였다.
• 모델 앙상블의 성능 향상 효과는 추가 모델이 증가함에 따라 점차 감소함을 확인하여, 일정 크기 이상에서는 수익 감소 현상이 나타남을 시사한다.