[논문 리뷰] Optimizing Video Object Detection via a Scale-Time Lattice

Kai Chen, Jiaqi Wang외 5명|arXiv (Cornell University)|2018. 04. 16.

Advanced Neural Network Applications참고 문헌 25인용 수 11

한 줄 요약

이 논문은 스케일과 시간을 통합적으로 고려하여 고비용 검출기의 사용 빈도를 적게 하고, 가벼운 네트워크를 통해 시간과 스케일 간에 효과적으로 결과를 전파하고 개선하는 Scale-Time Lattice(ST-Lattice)를 제안한다. 이 방법은 앙상블 또는 다중 해상도 테스트 없이도 ImageNet VID에서 20 fps에서 79.6% mAP의 성능을 달성하여 이전의 연구보다 빠른 속도-정확도 균형을 확보한다.

ABSTRACT

High-performance object detection relies on expensive convolutional networks to compute features, often leading to significant challenges in applications, e.g. those that require detecting objects from video streams in real time. The key to this problem is to trade accuracy for efficiency in an effective way, i.e. reducing the computing cost while maintaining competitive performance. To seek a good balance, previous efforts usually focus on optimizing the model architectures. This paper explores an alternative approach, that is, to reallocate the computation over a scale-time space. The basic idea is to perform expensive detection sparsely and propagate the results across both scales and time with substantially cheaper networks, by exploiting the strong correlations among them. Specifically, we present a unified framework that integrates detection, temporal propagation, and across-scale refinement on a Scale-Time Lattice. On this framework, one can explore various strategies to balance performance and cost. Taking advantage of this flexibility, we further develop an adaptive scheme with the detector invoked on demand and thus obtain improved tradeoff. On ImageNet VID dataset, the proposed method can achieve a competitive mAP 79.6% at 20 fps, or 79.0% at 62 fps as a performance/speed tradeoff.

연구 동기 및 목표

• 고비용의 딥 네트워크를 사용하는 실시간 영상 객체 검출의 높은 계산 비용을 해결하기 위해.
• 모델 아키텍처 압축에만 집중하지 않고, 시간과 스케일 간의 통합 최적화 전략을 탐색하기 위해.
• 영상 검출에서 정확도와 추론 속도 간의 민감한 유연한 트레이드오프를 가능하게 하기 위해.
• 검출기 사용을 최소화하면서도 효과적인 전파와 개선을 통해 평균 계산 비용을 감소시키기 위해.

제안 방법

• Scale-Time Lattice는 스케일과 시간의 2차원 격자에서 노드 간의 유도된 링크로 검출, 시간적 전파, 스케일 간의 보정을 구조화한다.
• 객체의 운동과 스케일에 따라 적응적으로 关건 프레임을 선택하여 고비용 검출기를 트리거함으로써 전체 계산량을 감소시킨다.
• 운동 이동과 공간적 오프셋을 별도로 회귀하는 두 단계 회귀 유닛을 도입하여 학습 안정성과 성능을 향상시켰다.
• 시간적 전파를 위해 운동 기록 기반 네트워크를 사용하여 광학 흐름과 특징 왜곡을 활용해 효율적으로 프레임 간 검출 결과를 전달한다.
• 가벼운 네트워크를 사용해 굵은 해상도에서 미세한 해상도로의 스케일 수준 간에 바운딩 박스를 최소한의 비용으로 개선한다.
• 다양한 단계에서 네트워크 깊이를 조절함으로써 유연한 비용 할당을 지원하여 성능/속도 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 영상 객체 검출에서 계산 비용을 시간과 스케일 간 효과적으로 재할당하여 비용을 줄일 수 있는가?
• RQ2 검출, 시간적 전파, 스케일 보정을 통합된 프레임워크로 통합하는 최적의 방법은 무엇인가?
• RQ3 적응적인 关건 프레임 선택이 검출기 사용을 줄이면서도 성능을 향상시킬 수 있는가?
• RQ4 전파 및 보정 구성 요소를 함께 학습할 경우 최종 검출 정확도에 어떤 영향을 미치는가?
• RQ5 시간적 전파 구성 요소와 스케일 보정 구성 요소에서 계산 비용을 증가시킬 때 각각의 상대적 영향은 무엇인가?

주요 결과

• 제안된 방법은 ImageNet VID에서 20 fps에서 79.6% mAP의 성능을 달성하여 이전 최고 성능 방법보다 훨씬 빠르게 성능을 내는 것으로 확인되었다.
• 62 fps에서 79.0% mAP의 성능을 유지하여 강력한 속도-정확도 트레이드오프를 입증하였다.
• 균일한 샘플링 대비 적응적인 关건 프레임 선택이 더 큰 간격에서도 더 어려운 샘플을 우선 검출함으로써 성능 향상을 이끌어냈다.
• 전파 및 보정 구성 요소를 함께 학습할 경우 별도 학습 대비 0.2% mAP 향상으로, 종단 간 최적화의 이점을 입증하였다.
• 스페이셜 리파인먼트 네트워크의 깊이를 증가시킬 경우 1.2% mAP 향상(72.5→73.7)을 기록하였으며, 이는 시간적 전파 네트워크에 유사한 비용 증가를 적용했을 때의 0.8% 향상보다 뛰어났다.
• 두 단계 회귀 유닛(운동 이동과 오프셋을 별도로 회귀)은 대상 프레임에서 71.6% mAP의 성능을 달성하여 단일 단계 또는 공동 회귀 변형보다 뛰어난 성능을 보였다.