[논문 리뷰] Tracking Randomly Moving Objects on Edge Box Proposals

Gao Zhu, Fatih Porikli외 1명|arXiv (Cornell University)|2015. 07. 29.

Video Surveillance and Tracking Methods참고 문헌 41인용 수 38

한 줄 요약

이 논문은 전통적인 국소적 검색 창을 대체하여 전역적으로 생성된, 개체별로 특화된 에지 박스 제안을 사용하는 추적-검출 방법을 제안한다. 이는 빠르고 불규칙한 움직임을 보이는 객체의 추적 성능을 향상시킨다. 고유한 객체 존재도 측정법을 통해 추적 대상에 맞게 조정하고, 온라인 SVM 적응을 통한 재순서 정렬을 통해 주요 벤치마크에서 최고 성능을 기록하며, VOT2014에서 정상 등수를 기록하고 저프레임레이트 및 도전적인 운동 조건에서도 뛰어난 내성성을 확보한다.

ABSTRACT

Most tracking-by-detection methods employ a local search window around the predicted object location in the current frame assuming the previous location is accurate, the trajectory is smooth, and the computational capacity permits a search radius that can accommodate the maximum speed yet small enough to reduce mismatches. These, however, may not be valid always, in particular for fast and irregularly moving objects. Here, we present an object tracker that is not limited to a local search window and has ability to probe efficiently the entire frame. Our method generates a small number of "high-quality" proposals by a novel instance-specific objectness measure and evaluates them against the object model that can be adopted from an existing tracking-by-detection approach as a core tracker. During the tracking process, we update the object model concentrating on hard false-positives supplied by the proposals, which help suppressing distractors caused by difficult background clutters, and learn how to re-rank proposals according to the object model. Since we reduce significantly the number of hypotheses the core tracker evaluates, we can use richer object descriptors and stronger detector. Our method outperforms most recent state-of-the-art trackers on popular tracking benchmarks, and provides improved robustness for fast moving objects as well as for ultra low-frame-rate videos.

연구 동기 및 목표

• 운동이 부드럽고 객체 이동 범위가 제한된다는 가정을 하는 기존 추적-검출 방법의 국소적 검색 창의 한계를 해결한다.
• 국소 영역을 초월해 검색 반경을 넓힐 경우 배경 혼잡과 오진 탐지 문제를 해결한다.
• 운동 모델이나 히وري스틱 검색 제약 조건에 의존하지 않고도 빠르게 움직이는 객체와 가림을 견디는 추적을 가능하게 한다.
• 전역적으로 스캔된 영역에서 고품질의 하드 음성 예측값을 통합하여 모델 업데이트를 향상시킨다.
• 특히 빠른 운동 및 저프레임레이트 상황에서 뛰어난 성능을 기록한다.

제안 방법

• 에지 기반 특징과 새로운 개체별로 특화된 객체 존재도 측정법을 사용해 고품질의 객체 제안을 소량 생성한다.
• 핵심 추적기(예: NCC 또는 Struck)를 사용해 제안을 평가하고, 기존의 국소적 검색 창 대신 전역 가설 스캔을 수행한다.
• 객체 모델에서 파생된 특징 벡터를 기반으로 한 온라인 선형 SVM을 사용해 제안을 적응적으로 재순서 정렬한다.
• 제안 집합에서 하드 음성 예측값을 사용해 객체 모델을 업데이트함으로써 배경 혼잡에 대한 구분 능력을 향상시킨다.
• 추적 대상의 외관과 운동 특성에 맞게 제안의 크기와 스케일을 동적으로 조정한다.
• 이전 위치 주변의 국소적 후보와 에지 기반 검출의 제안을 결합해 모델 업데이트를 수행하지만, 추론에는 오직 제안만을 사용한다.

실험 결과

연구 질문

• RQ1 빠르고 불규칙한 움직임을 보이는 객체 추적에서 전역 제안 생성 메커니즘이 국소적 검색 창을 능가할 수 있는가?
• RQ2 개체별로 특화된 객체 존재도 측정법은 제안 품질을 향상시키고 오진 탐지 수를 줄일 수 있는가?
• RQ3 온라인으로 적응하는 분류기를 사용해 제안을 재순서 정렬하면 더 나은 모델 업데이트와 추적 정확도를 확보할 수 있는가?
• RQ4 지능적인 선택을 통해 제안 공간을 축소하면 더 rich한 기술자와 강력한 검출기의 효과적인 활용이 가능한가?
• RQ5 저프레임레이트 또는 고속 운동과 같은 극한 조건에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 추적기는 VOT2014 벤치마크에서 20여 개가 넘는 최첨단 방법을 압도하며 최고 성능을 기록한다.
• OTB 데이터셋에서 빠른 운동(FM) 카테고리에서 AUC 58.1과 정밀도 77.8을 기록했으며, KCF(46.8/61.0)와 Struck(45.7/59.6)를 크게 앞서나간다.
• TB50에서 성공률(AUC) 49.6%를 기록했으며, KCF(40.2%)와 BING 기반 변종(30.8–33.7%)을 모두 뛰어넘는다.
• 저프레임레이트 상황에서도 뛰어난 내성성을 보이며, 일반적인 에지 박스 대비 적응형 제안 선택을 통해 성능 향상을 보였다.
• 200개의 개체별로 특화된 제안을 사용할 경우 최적의 성능을 기록한다. 100개 이하로 줄일 경우 오진 탐지 및 객체 커버리지가 떨어지고, 400개 이상으로 늘일 경우 잡음이 많은 후보가 발생한다.
• EdgeBox를 BING 기반 제안으로 대체하면 성능이 떨어지며(AUC 30.8–33.7%), 제안된 개체별로 특화된 제안 생성 방식의 우수성을 입증한다.