[논문 리뷰] DeepID-Net: Deformable Deep Convolutional Neural Networks for Object Detection

Wanli Ouyang, Xiaogang Wang외 9명|arXiv (Cornell University)|2014. 12. 17.

Advanced Neural Network Applications참고 문헌 66인용 수 78

한 줄 요약

이 논문은 일반적인 객체 검출을 위한 탄성 가능한 깊이 합성곱 신경망인 DeepID-Net을 제안한다. 이는 기하학적 제약 조건을 가진 부분 수준의 변형을 모델링하기 위해 변형 제약 풀링(def-pooling) 레이어를 도입한다. 새로운 객체 수준 사전 훈련 방식, 모델 평균화, 파ipeline 최적화를 결합함으로써, ILSVRC2014 검출 벤치마크에서 mAP를 RCNN의 31.0%에서 50.3%로 향상시켜 RCNN 및 GoogLeNet을 모두 능가한다.

ABSTRACT

In this paper, we propose deformable deep convolutional neural networks for generic object detection. This new deep learning object detection framework has innovations in multiple aspects. In the proposed new deep architecture, a new deformation constrained pooling (def-pooling) layer models the deformation of object parts with geometric constraint and penalty. A new pre-training strategy is proposed to learn feature representations more suitable for the object detection task and with good generalization capability. By changing the net structures, training strategies, adding and removing some key components in the detection pipeline, a set of models with large diversity are obtained, which significantly improves the effectiveness of model averaging. The proposed approach improves the mean averaged precision obtained by RCNN \cite{girshick2014rich}, which was the state-of-the-art, from 31\% to 50.3\% on the ILSVRC2014 detection test set. It also outperforms the winner of ILSVRC2014, GoogLeNet, by 6.1\%. Detailed component-wise analysis is also provided through extensive experimental evaluation, which provide a global view for people to understand the deep learning object detection pipeline.

연구 동기 및 목표

• 분류를 위한 이미지 수준 사전 훈련과 객체 검출 간의 도메인 갭을 해결하기 위해 국소화 민감도가 요구되는 문제를 다루기 위해.
• 다양한 객체 카테고리와 의미 수준에서 공유되는 탄성 가능한 시각적 패턴을 미분 가능하고 제약 조건이 있는 풀링 레이어를 사용해 모델링하기 위해.
• 사전 훈련, 변형 모델링, 맥락, 모델 평균화를 통합한 통합 파이프라인을 통해 검출 성능을 향상시키기 위해.
• 표준화된 평가 기준 하에 딥 러닝 기반 객체 검출의 구성 요소별 체계적 분석을 제공하기 위해.

제안 방법

• 공간 이동량에 대한 이차 페널티 함수를 사용해 부분 변형을 모델링하는 변형 제약 풀링(def-pooling) 레이어를 도입한다.
• 분류 작업 요구사항과 더 잘 부합하기 위해 이미지 수준 레이블 대신 객체 수준 애너테이션을 사용하는 새로운 사전 훈련 전략을 제안한다.
• 검출 작업을 위한 특징 일반화를 향상시키기 위해 다중 스케일, 다중 클래스 사전 훈련 체계를 활용한다.
• 다양한 아키텍처(A-net, Z-net, O-net, G-net) 간의 모델 평균화를 통해 정확도와 강건성을 향상시킨다.
• 이미지 분류 점수와 바운딩 박스 회귀를 통한 맥락 모델링을 통합해 개선을 도모한다.
• 영역 제안 생성을 위해 선택적 검색(selective search)과 엣지박스(EdgeBoxes)를 사용하고, 저품질 후보를 걸러내기 위해 바운딩 박스 거부 기법을 적용한다.

실험 결과

연구 질문

• RQ1 이미지 수준 사전 훈련 대비 객체 수준 사전 훈련이 객체 검출을 위한 특징 표현을 향상시키는가?
• RQ2 미분 가능하고 변형 제약이 있는 풀링 레이어는 탄성 가능한 객체 부분 검출 성능을 어떻게 향상시키는가?
• RQ3 각 구성 요소—사전 훈련, def-pooling, 맥락 모델링, 모델 평균화—가 전체 mAP 향상에 기여하는 정도는 어떻게 되는가?
• RQ4 다양한 모델을 통합한 통합 검출 파이프라인은 단일 모델이나 기존 최신 기술 수준(SOTA)보다 더 높은 성능을 낼 수 있는가?

주요 결과

• 제안된 객체 수준 사전 훈련 방식은 이미지 수준 사전 훈련 대비 mAP를 2.6% 향상시켜 검출 작업에 더 유리함을 입증한다.
• Z-net 아키텍처에서 표준 풀링을 대체할 때 def-pooling 레이어가 mAP를 2.5% 향상시켜 변형을 효과적으로 모델링할 수 있음을 보여준다.
• 다양한 아키텍처(A-net에서 G-net까지) 간의 모델 평균화가 크게 기여하며, 최종 앙상블은 ILSVRC2014에서 50.7%의 mAP를 달성한다.
• def-pooling, 다중 스케일 사전 훈련, 맥락 모델링을 포함한 전체 파이프라인은 RCNN 베이스라인의 29.9%에서 50.3%로 mAP를 향상시킨다.
• 이 방법은 ILSVRC2014 최종 우승자인 GoogLeNet을 6.1% 높은 mAP로 능가하며 새로운 SOTA를 확립한다.
• 구성 요소별 분석 결과, 객체 수준 애너테이션과 다중 스케일 데이터를 사용한 사전 훈련이 가장 큰 개선 기여를 하였다(각각 2.6% 및 2.2%의 개선).