[논문 리뷰] Need for Speed: A Benchmark for Higher Frame Rate Object Tracking

Hamed Kiani Galoogahi, Ashton Fagg외 3명|arXiv (Cornell University)|2017. 03. 17.

Video Surveillance and Tracking Methods참고 문헌 25인용 수 35

한 줄 요약

이 논문은 소비자용 카메라를 사용한 고프레임레트(240 FPS) 영상 객체 추적을 위한 첫 번째 데이터셋과 평가 프레임워크인 Need for Speed(NfS) 벤치마크를 소개한다. 고프레임레트 영상에 적용했을 때 수작업 특징(예: HOG)을 사용하는 단순한 상관 필터 트래커가 복잡한 딥러닝 기반 트래커보다 정확도와 실시간 성능 모두에서 뛰어나며, 강력한 추적 성능을 위해 딥 네트워크가 반드시 필요하다는 기존의 가정을 도전한다.

ABSTRACT

In this paper, we propose the first higher frame rate video dataset (called Need for Speed - NfS) and benchmark for visual object tracking. The dataset consists of 100 videos (380K frames) captured with now commonly available higher frame rate (240 FPS) cameras from real world scenarios. All frames are annotated with axis aligned bounding boxes and all sequences are manually labelled with nine visual attributes - such as occlusion, fast motion, background clutter, etc. Our benchmark provides an extensive evaluation of many recent and state-of-the-art trackers on higher frame rate sequences. We ranked each of these trackers according to their tracking accuracy and real-time performance. One of our surprising conclusions is that at higher frame rates, simple trackers such as correlation filters outperform complex methods based on deep networks. This suggests that for practical applications (such as in robotics or embedded vision), one needs to carefully tradeoff bandwidth constraints associated with higher frame rate acquisition, computational costs of real-time analysis, and the required application accuracy. Our dataset and benchmark allows for the first time (to our knowledge) systematic exploration of such issues, and will be made available to allow for further research in this space.

연구 동기 및 목표

• 소비자 기기에서 이제 일반화된 고프레임레트(240 FPS) 추적에 대한 표준화된 평가가 부족한 문제를 해결하기 위해.
• 더 높은 프레임레트가 프레임 간 외관 변화를 줄여주어 단순하고 빠른 트래커가 복잡한 딥러닝 모델을 능가할 수 있는지 조사하기 위해.
• 프레임 레이트, 계산 비용, 정확도 간 상호 교환 관계라는 실제 환경 제약 조건 하에서 트래커 성능 평가를 체계적으로 제공하기 위해.
• 로봇공학 및 임베디드 비전과 같은 자원 제약 환경에서 계산 효율성, 영상 프레임 레이트, 추적 정확도 간 상호 교환 관계를 탐색할 수 있도록 연구자들을 지원하기 위해.

제안 방법

• 소비자 기기로 실생활 상황에서 촬영한 100개의 고프레임레트 영상(380K 프레임) 수집 (240 FPS).
• 모든 프레임에 대해 축에 수직인 경계 상자와 9개의 시각적 속성(예: 가림, 빠른 운동, 배경 혼잡도) 수동 주석 처리.
• 상관 필터(CF) 및 딥러닝 기반 방법을 포함한 14개의 최첨단 트래커를 240 FPS 및 30 FPS 영상에서 평가.
• 표준 추적 메트릭 사용: 정확도 (IoU > 0.5의 AUC), 실시간 성능 (영상 프레임 레이트 대비 FPS), 9개의 시각적 속성에 따른 평가.
• 프레임 레이트 간 트래커 성능 비교를 통해 시간 해상도의 영향이 추적의 강건성과 효율성에 미치는 영향을 분리 분석.
• CPU 및 GPU 실행 환경을 모두 통합하여 다양한 하드웨어 플랫폼에서 실시간 실행 가능성 평가.

실험 결과

연구 질문

• RQ1 30 FPS에서 240 FPS로 프레임 레이트를 높일 경우, 단순 트래커와 복잡한 트래커 모두에서 추적 성능이 크게 향상되는가?
• RQ2 수작업 특징(예: HOG)을 사용하는 계산 효율적인 상관 필터 기반 트래커가 고프레임레트 영상에 적용되었을 때 최첨단 딥러닝 기반 트래커를 능가할 수 있는가?
• RQ3 가림, 빠른 운동, 조명 변화 등의 다양한 시각적 속성이 고프레임레트에서 저프레임레트에 비해 트래커 성능에 미치는 영향은 어떠한가?
• RQ4 딥러닝 트래커의 계산 비용이 고프레임레트 영상이 이용 가능한 실시간 임베디드 시스템에 대한 실질적 구현을 얼마나 제한하는가?
• RQ5 프레임 레이트가 성능 평가에 포함되지 않은 경우, 전통적인 정확도-속도 상호 교환 관계 평가가 잘못된 해석을 유도하는가?

주요 결과

• 240 FPS에서 HOG와 같은 수작업 특징을 사용하는 단순한 상관 필터 트래커(BACF, Staple)가 빠른 운동, 가림, 배경 혼잡도 등의 어려운 속성에서 모든 딥러닝 기반 트래커(MDNet, SFC, FCNT)보다 정확도와 실시간 성능 면에서 뛰어나다.
• 조명 변화, 가림, 빠른 운동, 시야 외부, 배경 혼잡도, 저해상도 등의 경우, 수작업 특징을 사용하는 CF 트래커가 모든 딥 트래커와 HDT보다 뛰어난 성공률를 달성했다.
• MDNet과 같은 딥 트래커는 척도 변화(61.0), 변형(59.2), 시점 변화(55.9)에서 최고의 정확도를 기록했지만, 9개의 속성 중 6개에서 CF 트래커에 뒤지지 않았다.
• CF 트래커는 30 FPS 대비 240 FPS에서 정확도 향상이 훨씬 더 두드러졌으며(예: 빠른 운동에서 +20~30% 향상), 이는 고프레임레트가 단순 모델의 이점을 극대화함을 시사한다.
• CPU에서 KCF와 Staple과 같은 트래커는 240 FPS 영상에서 실시간 성능(속도 ≥ 240 FPS)을 달성했지만, MDNet과 SFC와 같은 딥 트래커는 GPU에서도 실시간로 실행되지 못했다.
• 벤치마크는 실시간 성능을 영상의 프레임 레이트에 비례해 평가해야 한다는 점을 드러냈다. 240 FPS 영상에서 100 FPS로만 작동하는 트래커는 실시간이 아니며, 이는 전통적인 속도-정확도 비교를 무효화한다.