[논문 리뷰] DeepID-Net: multi-stage and deformable deep convolutional neural networks for object detection

Wanli Ouyang, Ping Luo외 13명|arXiv (Cornell University)|2014. 09. 11.

Advanced Neural Network Applications참고 문헌 75인용 수 134

한 줄 요약

이 논문은 일반적인 객체 검출을 위한 다단계 및 변형 가능한 깊은 합성곱 신경망인 DeepID-Net을 제안한다. 이는 특징 학습, 부분 변형 모델링, 그리고 맥락 통합을 향상시킨다. 변형 제약 풀링(def-pooling) 레이어, 객체 수준의 애너테이션을 사용하는 새로운 사전학습 전략, 다단계 학습, 그리고 다양한 모델 앙상블을 도입함으로써, ILSVRC 2014에서 mAP 45%를 달성하였으며, RCNN의 31%를 크게 뛰어넘었다.

ABSTRACT

In this paper, we propose multi-stage and deformable deep convolutional neural networks for object detection. This new deep learning object detection diagram has innovations in multiple aspects. In the proposed new deep architecture, a new deformation constrained pooling (def-pooling) layer models the deformation of object parts with geometric constraint and penalty. With the proposed multi-stage training strategy, multiple classifiers are jointly optimized to process samples at different difficulty levels. A new pre-training strategy is proposed to learn feature representations more suitable for the object detection task and with good generalization capability. By changing the net structures, training strategies, adding and removing some key components in the detection pipeline, a set of models with large diversity are obtained, which significantly improves the effectiveness of modeling averaging. The proposed approach ranked \#2 in ILSVRC 2014. It improves the mean averaged precision obtained by RCNN, which is the state-of-the-art of object detection, from $31\%$ to $45\%$. Detailed component-wise analysis is also provided through extensive experimental evaluation.

연구 동기 및 목표

• 큰 반복 클래스 변동성, 변형, 그리고 혼잡한 배경을 포함한 복잡한 시나리오에서 일반적인 객체 검출을 향상시키기 위해.
• 특징 표현, 부분 변형 모델링, 맥락적 추론을 동시에 최적화하는 딥 러닝 프레임워크를 개발하기 위해.
• 새로운 학습 및 사전학습 전략을 통해 과적합을 완화하고 일반화 성능을 향상시키기 위해.
• 다양한 아키텍처와 학습 전략을 활용한 효과적인 모델 앙상블을 통해 모델 성능을 향상시키기 위해.

제안 방법

• 표준 최대 풀링을 대체하여 기하학적 변형을 페널티와 함께 학습하는 변형 제약 풀링(def-pooling) 레이어를 도입한다.
• 이미지 수준의 레이블이 아닌 ImageNet 1000개 클래스 분류에서의 객체 수준 애너테이션을 사용하는 새로운 사전학습 전략을 제안하여, 검출 작업으로의 특징 전이를 향상시킨다.
• 각 단계에서 점점 더 어려운 샘플을 처리하는 다단계 학습 기반에서 분류기를 활용하며, 공동 최적화 및 정규화를 통해 과적합을 줄인다.
• 네트워크 아키텍처와 학습 전략를 다양하게 변화시켜 생성된 다양한 모델 세트를 사용하여 모델 앙상블을 수행함으로써, 다양성에 기반한 성능 향상을 달성한다.
• 이미지 분류 점수로부터 맥락 정보를 통합하고, 경계 상자 회귀를 적용하여 정렬을 개선한다.
• 다양한 모델들 간의 앙상블을 적용하며, 클래스별 조합 전략을 통해 검출 정확도를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 특징 표현, 부분 변형 모델링, 맥락을 동시에 모델링하는 딥 러닝 프레임워크가 RCNN을 초월하여 일반적인 객체 검출을 향상시킬 수 있는가?
• RQ2 이미지 수준의 애너테이션 대신 객체 수준의 애너테이션을 사용한 사전학습이 검출 성능에 어떤 영향을 미치는가?
• RQ3 진행적인 어려운 샘플 추출 전략을 포함한 다단계 학습 기반에서 일반화 성능 향상과 과적합 감소에 얼마나 기여하는가?
• RQ4 특정 객체 카테고리에 대해 아키텍처와 학습 전략가 다각도인 모델들 간의 앙상블이 얼마나 효과적인가?
• RQ5 각 구성 요소—def-pooling, 맥락 모델링, 경계 상자 회귀, 사전학습—가 최종 검출 정확도에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 DeepID-Net은 ILSVRC 2014 검증 세트에서 mAP 45%를 달성하였으며, RCNN의 31%를 뛰어넘어 대회에서 2위를 기록하였다.
• 이미지 수준 사전학습에서 객체 수준 사전학습으로 전환함으로써 mAP가 약 4% 향상되었다.
• def-pooling 레이어는 기하학적 제약을 통한 부분 변형 모델링 덕분에 mAP에 2.5% 기여하였다.
• 경계 상자 회귀와 분류 점수로부터의 맥락 정보 각각이 mAP에 약 1% 향상 기여하였다.
• 다양한 아키텍처와 학습 전략를 활용한 모델 앙상블은 성능 향상에 크게 기여하였으며, 최종 mAP는 45%에 도달하였다.
• 다단계 학습 기반은 다양한 난이도의 샘플을 효과적으로 처리하였고, 표준 백프로파게이션 대비 과적합을 줄이는 데 성공하였다.