[논문 리뷰] 3D-DETNet: a Single Stage Video-Based Vehicle Detector

Suichan Li|arXiv (Cornell University)|2018. 01. 05.

Advanced Neural Network Applications참고 문헌 18인용 수 4

한 줄 요약

3D-DETNet은 3D 컨volution 네트워크(3DConvNet)와 포칼 손실을 활용하여 영상 시퀀스에서 시공간적 특징을 효과적으로 캡처하는 단일 단계 영상 기반 차량 검출기입니다. 이는 검출 정확도와 속도를 크게 향상시키며, UA-DETAC 데이터셋에서 SOTA 성능을 달성하고 이미지 기반 검출기의 영상 적용보다 뛰어난 성능을 보입니다. 추론 속도는 26 fps입니다.

ABSTRACT

Video-based vehicle detection has received considerable attention over the last ten years and there are many deep learning based detection methods which can be applied to it. However, these methods are devised for still images and applying them for video vehicle detection directly always obtains poor performance. In this work, we propose a new single-stage video-based vehicle detector integrated with 3DCovNet and focal loss, called 3D-DETNet. Draw support from 3D Convolution network and focal loss, our method has ability to capture motion information and is more suitable to detect vehicle in video than other single-stage methods devised for static images. The multiple video frames are initially fed to 3D-DETNet to generate multiple spatial feature maps, then sub-model 3DConvNet takes spatial feature maps as input to capture temporal information which is fed to final fully convolution model for predicting locations of vehicles in video frames. We evaluate our method on UA-DETAC vehicle detection dataset and our 3D-DETNet yields best performance and keeps a higher detection speed of 26 fps compared with other competing methods.

연구 동기 및 목표

• 영상 기반 차량 검출에 직접 적용된 이미지 기반 객체 검출기의 열악한 성능을 해결하기 위해.
• 영상 시퀀스에서 공간적 및 시간적 특징을 효과적으로 캡처할 수 있는 영상 전용 검출 프레임워크를 개발하기 위해.
• 실시간 응용을 위해 높은 추론 속도를 유지하면서도 검출 정확도를 향상시키기 위해.
• 차량 검출에서 긴 꼬리 분포를 가진 클래스의 불균형 문제를 해결하기 위해 포칼 손실을 단일 단계 검출기에 통합하기 위해.
• UA-DETAC 벤치마크 데이터셋에서 최신 기술 수준(SOTA)의 성능을 입증하기 위해.

제안 방법

• 모델은 백본 네트워크를 통해 다중 영상 프레임을 입력으로 받아 공간적 특징 맵을 생성합니다.
• 3DConvNet 서브모델이 공간적 특징 맵에 적용되어 프레임 간의 시간적 의존성을 추출합니다.
• 융합된 시공간 특징은 완전 컨volution 헤드를 통해 차량 바운딩 박스 예측에 전달됩니다.
• 훈련 중에 포칼 손실이 도입되어 영상 시퀀스 내 전경과 배경 샘플 간의 불균형을 완화합니다.
• 시간적 일관성과 검출 정확도를 최적화하기 위해 다중 프레임 입력을 사용해 엔드 투 엔드로 네트워크를 훈련시킵니다.
• 단일 단계 추론을 위한 아키텍처 설계로 실시간 성능가능성을 확보합니다.

실험 결과

연구 질문

• RQ1 단일 단계 검출기가 3D 컨볼루션을 효과적으로 활용하여 운동을 모델링하고 영상 기반 차량 검출 성능을 향상시킬 수 있는가?
• RQ2 포칼 손실은 긴 꼬리 분포를 가진 영상 객체 검출 환경에서 검출 성능을 어떻게 향상시키는가?
• RQ3 3DConvNet을 단일 단계 검출기에 통합하면 영상 기반 검출기의 적용에 비해 더 높은 정확도와 속도를 달성할 수 있는가?
• RQ4 시간적 모델링은 영상 시퀀스에서 잡음(오류) 검출을 줄이고 정렬 정확도를 향상시키는 데 어떤 영향을 미치는가?
• RQ5 제안된 방법은 고속 추론 속도를 유지하면서도 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 3D-DETNet은 경쟁 기술 대비 UA-DETAC 데이터셋에서 최고의 검출 성능를 기록합니다.
• 모델은 높은 추론 속도 26 fps를 유지하여 실시간 영상 처리를 가능하게 합니다.
• 3DConvNet 통합으로 시간적 운동을 효과적으로 모델링하여 검출의 강건성을 향상시킵니다.
• 포칼 손실은 어려운 음성 샘플에 집중함으로써 훈련 안정성과 검출 정확도를 크게 향상시킵니다.
• 영상 기반 검출기의 영상 적용 대비 성능이 뛰어나 영상 전용 설계의 우수성을 입증합니다.
• 제거 실험 결과 3D 컨볼루션과 포칼 손실이 전체 성능 향상에 기여하는 것으로 확인되었습니다.