[논문 리뷰] An Experimental Survey on Correlation Filter-based Tracking

Zhe Chen, Zhibin Hong외 1명|arXiv (Cornell University)|2015. 09. 18.

Video Surveillance and Tracking Methods참고 문헌 63인용 수 100

한 줄 요약

이 논문은 관련 추적기(CFTs)에 대한 종합적인 실험적 조사 결과를 제시하며, 벤치마크 데이터셋에서 최신 11종의 방법을 평가한다. MUSTer, SAMF, RPT가 상위 성능을 보이며, 장기 추적, 부분 기반 전략, 강건한 특징 학습을 통합할 경우 정확도와 강건성 향상이 뚜렷하게 나타나고, 높은 속도를 유지함을 입증한다.

ABSTRACT

Over these years, Correlation Filter-based Trackers (CFTs) have aroused increasing interests in the field of visual object tracking, and have achieved extremely compelling results in different competitions and benchmarks. In this paper, our goal is to review the developments of CFTs with extensive experimental results. 11 trackers are surveyed in our work, based on which a general framework is summarized. Furthermore, we investigate different training schemes for correlation filters, and also discuss various effective improvements that have been made recently. Comprehensive experiments have been conducted to evaluate the effectiveness and efficiency of the surveyed CFTs, and comparisons have been made with other competing trackers. The experimental results have shown that state-of-art performance, in terms of robustness, speed and accuracy, can be achieved by several recent CFTs, such as MUSTer and SAMF. We find that further improvements for correlation filter-based tracking can be made on estimating scales, applying part-based tracking strategy and cooperating with long-term tracking methods.

연구 동기 및 목표

• 관련 추적기(CFT) 방법에 대한 체계적 리뷰 및 비교 평가를 제공하는 것.
• 조사된 알고리즘을 바탕으로 일반적인 CFT 프레임워크를 수립하는 것.
• 학습 체계, 특징 표현, 척도 추정, 부분 기반 추적, 장기 추적 통합에 대한 연구를 수행하는 것.
• 대규모 벤치마크를 통해 성능을 평가하고 경쟁 추적기와 비교하는 것.
• CFT의 강건성과 효율성 향상을 위한 향후 방향을 규명하는 것.

제안 방법

• 저자는 10종의 CFT를 구현하고 평가하였으며, 이 중 8종은 공개 소스에서 확보하고 2종은 단순화된 형태로 구현하였다.
• 일관된 평가를 위해 OOTB-100 벤치마크에서 통합된 실험 프레임워크를 적용하여 OPE(일회 평가) 조건 하에서 평가를 수행하였다.
• 핵심 기술로는 커널화된 상관 필터, 다중 채널 HOG 및 색상 특징, 척도 피라미드, 적응형 상관 필터를 사용한 부분 기반 추적 기법이 포함되었다.
• 장기 추적 구성 요소는 MUSTer 및 LCT에 통합되었으며, 온라인 재검출 및 메모리 메커니즘을 활용하였다.
• 정량적 비교를 위해 중심 위치 오차(CLE), 오버랩 스코어(OS), 처리 속도 등의 통계적 지표를 사용하였다.
• 어려운 조건 하에서도 강건성을 평가하기 위해 20개의 다양한 영상 시퀀스에서 정성적 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 다양한 학습 체계와 특징 표현 방식이 관련 추적기의 성능에 어떤 영향을 미치는가?
• RQ2 척도 추정 전략과 부분 기반 추적 기법이 CFT의 강건성 향상에 얼마나 기여하는가?
• RQ3 장기 추적 구성 요소를 통합할 경우 장기 추적 시나리오에서 성능이 어떻게 향상되는가?
• RQ4 최신 CFT들 간에 속도, 정확도, 강건성 간의 상호 상충 관계는 어떻게 나타나는가?
• RQ5 어떤 아키텍처 및 알고리즘 개선이 추적 성능 향상에 가장 큰 기여를 하는가?

주요 결과

• MUSTER는 가장 높은 오버랩 스코어를 기록했으며, 실패 후에도 목표물을 성공적으로 재획득하는 등 가장 강건한 추적기를 보였다. 예를 들어 MotorRolling 영상에서 그러한 성능을 보였다.
• SAMF와 RPT는 높은 정확도를 보였으며, SAMF는 척도 풀 메커니즘 덕분에 척도 변화에 뛰어난 성능을 보였다.
• DSST와 KCF는 척도 적응 능력에 한계를 보였으며, 고정된 창 크기로 인해 KCF는 CarScale 영상에서 실패했다.
• MEEM은 드리프트 이후 재획득 능력이 뛰어났지만, 일조 변화에 취약하여 Singer1 영상에서 어려움을 겪었다.
• RPT는 Bolt 영상에서 초기화가 제대로 이루어지지 않아 초기화 민감성과 저품질 영상 조건 하에서의 불안정성을 보였다.
• MUSTER와 같이 장기 추적 구성 요소를 통합할 경우, 가림 및 장기 드리프트에 대한 저항력이 크게 향상됨을 확인했다.