[논문 리뷰] Towards High Performance Video Object Detection

Xizhou Zhu, Jifeng Dai외 2명|arXiv (Cornell University)|2017. 11. 30.

Advanced Neural Network Applications참고 문헌 31인용 수 6

한 줄 요약

이 논문은 속도-정확도 트레이드오프에서 최신 기준을 달성하기 위해 희소 재귀적 특징 집약, 공간적으로 적응적인 부분 특징 업데이트, 시간적으로 적응적인 关键 프레임 스케줄링을 통합한 종단간(end-to-end) 비디오 객체 검출 프레임워크를 제안한다. 15.2 fps에서 77.8% mAP을 달성하며, ImageNet VID 2017 수상자 이외의 이전 방법들을 능가한다.

ABSTRACT

There has been significant progresses for image object detection in recent years. Nevertheless, video object detection has received little attention, although it is more challenging and more important in practical scenarios. Built upon the recent works, this work proposes a unified approach based on the principle of multi-frame end-to-end learning of features and cross-frame motion. Our approach extends prior works with three new techniques and steadily pushes forward the performance envelope (speed-accuracy tradeoff), towards high performance video object detection.

연구 동기 및 목표

• 운동 왜곡과 외관 변동으로 인한 비디오 객체 검출의 높은 계산 비용과 정확도 저하 문제를 해결하기 위해.
• 희소 특징 전파의 장점과 밀집 특징 집약의 장점을 통합하면서 각각의 단점은 최소화하기 위해.
• 전체 재계산 없이도 비-키 프레임에서 특징 품질을 적응적으로 향상시켜 추론 속도를 유지하면서 검출 정확도를 향상시키기 위해.
• 고성능 비디오 객체 검출을 위한 원칙적인, 종단간 훈련 가능한 프레임워크를 수립하기 위해.

제안 방법

• 희소 关键 프레임에서만 밀집 특징 집약을 수행하는 희소 재귀적 특징 집약을 도입하여 계산량을 줄이고도 특징 품질을 유지한다.
• 공간적으로 적응적인 부분 특징 업데이트를 적용하여, 전파된 특징의 품질이 낮은 영역에서만 비-키 프레임의 특징을 재계산하며, 이는 종단간으로 학습된다.
• 예측된 특징 품질에 기반해 동적으로 关键 프레임을 선택하는 시간적으로 적응적인 关键 프레임 스케줄링을 제안하여 고정된 스케줄링을 대체한다.
• 운동 추정, 특징 와핑, 검출을 하나의 종단간 훈련 가능한 네트워크로 통합하여 모든 구성 요소의 공동 최적화를 가능하게 한다.
• 효율적이고 정확한 특징 전파를 가능하게 하기 위해, 후방 운동장면를 추정하기 위한 경량의 플로우 네트워크를 사용한다.
• 어려운 공간적 구성에서도 정확도를 향상시키기 위해 변형 가능한 컨volution 네트워크(Deformable R-FCN)를 검출 헤드로 적용한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크는 비디오 객체 검출에서 희소 특징 전파의 효율성과 밀집 특징 집약의 정확도를 효과적으로 통합할 수 있는가?
• RQ2 전체 재계산 없이도 비-키 프레임에서 특징 품질을 어떻게 적응적으로 향상시킬 수 있는가?
• RQ3 특징 품질 예측에 기반한 동적 关键 프레임 스케줄링은 고정 스케줄링보다 더 나은 속도-정확도 트레이드오프를 이끌 수 있는가?
• RQ4 운동 추정, 특징 전파, 검출의 종단간 훈련이 단계별 훈련보다 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 Titan X에서 13.0 fps에서 78.6% mAP, 22.9 fps에서 77.8% mAP를 달성하여, ImageNet VID 2017 수상자(15.4 fps에서 76.8% mAP)를 능가한다.
• 희소 재귀적 집약과 적응형 부분 업데이트의 조합은 이전 방법 [37]과 [36] 각각보다 정확도 향상에 기여한다.
• γ = 0.2를 사용한 시간적으로 적응적인 关键 프레임 스케줄링은 고속 추론 조건에서 최적의 속도-정확도 트레이드오프를 달성한다.
• Joint fine-tuning을 적용한 FlowNetS를 사용할 경우 최고의 속도-정확도 트레이드오프를 달성하여, 빠른 플로우 추론의 중요성을 입증한다.
• Deformable R-FCN은 성능을 추가로 향상시키며, 제안된 프레임워크에서의 호환성과 효과성을 입증한다.
• 오라클 关键 프레임 스케줄링 정책은 뚜렷한 성능 향상을 보이며, 적응형 스케줄링의 잠재력을 입증한다.