[논문 리뷰] Beyond Local Search: Tracking Objects Everywhere with Instance-Specific Proposals

Gao Zhu, Fatih Porikli외 1명|arXiv (Cornell University)|2016. 05. 06.

Video Surveillance and Tracking Methods참고 문헌 39인용 수 38

한 줄 요약

이 논문은 국소적 검색 창을 개체별로 특화된 에지 기반 제안 생성으로 대체하여 전체 이미지에 걸쳐 효율적이고 고정확도의 추적을 가능하게 하는 글로벌 개체 추적 방법을 제안한다. 개체 모델에 기반한 학습된 재순서화된 제안을 통해 빠르게 움직이는 것과 가림을 받는 개체에 대한 견고성을 향상시켜 OTB, TB50, VOT2014 및 ALOV300 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Most tracking-by-detection methods employ a local search window around the predicted object location in the current frame assuming the previous location is accurate, the trajectory is smooth, and the computational capacity permits a search radius that can accommodate the maximum speed yet small enough to reduce mismatches. These, however, may not be valid always, in particular for fast and irregularly moving objects. Here, we present an object tracker that is not limited to a local search window and has ability to probe efficiently the entire frame. Our method generates a small number of "high-quality" proposals by a novel instance-specific objectness measure and evaluates them against the object model that can be adopted from an existing tracking-by-detection approach as a core tracker. During the tracking process, we update the object model concentrating on hard false-positives supplied by the proposals, which help suppressing distractors caused by difficult background clutters, and learn how to re-rank proposals according to the object model. Since we reduce significantly the number of hypotheses the core tracker evaluates, we can use richer object descriptors and stronger detector. Our method outperforms most recent state-of-the-art trackers on popular tracking benchmarks, and provides improved robustness for fast moving objects as well as for ultra low-frame-rate videos.

연구 동기 및 목표

• 특히 빠르게 또는 비정상적으로 움직이는 개체에 대해 추적-검출 방법에서 국소적 검색 창의 한계를 해결한다.
• 국소 영역을 초월해 검색할 때 배경 혼잡과 오분류를 줄이기 위한 과제를 해결한다.
• 계산 효율성이나 추적 정확도를 희생시키지 않고 전체 이미지에 걸쳐 글로벌 검색을 가능하게 한다.
• 고품질 제안에서 얻은 어려운 부정 예제를 통합함으로써 모델 업데이트를 향상시켜 추적 이격을 감소시킨다.
• 추적 대상에 맞게 적응하는 개체별 특화된 개체성 측정법을 개발하여 일반 제안 방법보다 우수한 성능을 달성한다.

제안 방법

• 특정 추적 대상에 맞게 조정된 에지 기반 특징(EdgeBox)을 사용해 고품질의 제한된 수의 개체 제안을 생성한다.
• 선형 SVM를 사용한 온라인 학습을 통해 일반적인 에지 기반 개체성 측정법을 추적 대상에 맞게 조정하여 제안을 재순서한다.
• 개체 모델(NCC 또는 SSVM 등)을 사용해 제안을 평가하고 재순서하여 어려운 오분류 억제를 강화한다.
• 이전 위치 주변의 국소 후보와 글로벌 에지 기반 영역에서의 제안을 조합하여 모델 업데이트에 활용함으로써 견고성을 향상시킨다.
• 운동의 매끄러움 제약 조건을 제안 점수에 통합하여 시간적 일관성을 유지하고 진동을 줄인다.
• 제안 생성을 핵심 추적과 분리함으로써 기존의 추적-검출 프레임워크에 쉽게 통합할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 국소적 검색과 비교해 글로벌 제안 생성이 빠르게 움직이거나 가려진 개체에 대해 추적 정확도와 견고성을 향상시키는가?
• RQ2 개체 모델에 기반한 개체별 특화된 제안 재순서화가 일반적인 개체성 점수보다 오분류를 줄이는 데 얼마나 효과적인가?
• RQ3 모델 업데이트 및 추론에서 글로벌 제안과 국소 검색 사이의 최적의 균형은 무엇인가?
• RQ4 초저속도 프레임 레이트나 도전적인 시각 조건에서도 이 방법이 높은 성능을 유지할 수 있는가?
• RQ5 제안 수가 추적 성능와 계산 비용에 어떤 영향을 미치는가?

주요 결과

• 제안된 추적기는 VOT2014 벤치마크에서 최고 성능을 기록하여 모든 최신 기술 수준(SOTA) 방법 중 상위 추적기로 랭크되었다.
• OTB 데이터셋에서 이 방법은 빠른 운동(FM) 카테고리에서 AUC 58.1과 정밀도 77.8을 기록하여 KCF, MEEM 및 Struck을 능가했다.
• TB50 벤치마크에서 이 방법은 성공률 49.6%(AUC)를 기록하여 KCF(40.2%)와 다른 SOTA 추적기들을 능가했으며, 200개의 제안을 사용한 최적의 변종이 가장 우수한 성능을 보였다.
• 운동 블러(MB) 및 움직이는 카메라(MC) 시퀀스에서 성능이 크게 향상되었으며, ALOV300에서 MB 시퀀스에서는 AUC 54.9%와 정밀도 78.5%, MC 시퀀스에서는 AUC 60.9%와 정밀도 68.4%를 기록했다.
• EdgeBox 대신 BING을 사용한 제안은 성능이 열 劣하므로(TB50에서 AUC 33.7%), 제안된 에지 기반, 개체별 특화된 제안 방법의 우수성을 확인했다.
• 전체적으로 최신 기술 수준의 추적기들과 유사한 계산 속도를 유지하며, 프레임당 제안 생성 시간이 100ms 이내로 유지되어 글로벌 검색임에도 실시간 성능을 유지를 할 수 있었다.