[논문 리뷰] Modular Tracking Framework: A Unified Approach to Registration based Tracking

Abhineet Singh|arXiv (Cornell University)|2017. 01. 01.

Robotics and Sensor-Based Localization참고 문헌 38인용 수 7

한 줄 요약

이 논문은 등록 기반 시각 추적기들을 세 가지 핵심 구성 요소—검색 방법, 외관 모델, 상태 공간 모델—으로 분해하는 모듈러 프레임워크를 제안한다. 이는 기존 및 신규 추적 방법에 대한 체계적 분석, 통합 비교, 확장 가능한 구현을 가능하게 한다. 프레임워크는 100,000帧 이상의 광범위한 벤치마킹을 위한 효율적인 C++ 코드를 제공하며, 실용성과 통계적 안정성을 입증한다.

ABSTRACT

This thesis presents a new way to conceptualize and study image registration based visual trackers by decomposing them into three constituent sub modules - search method, appearance model and state space model. It shows how this approach can be used to break down existing trackers and thus unify the myriad of contributions that have been made in this domain in over three decades of its existence. Further, a modular framework for registration based tracking is introduced to provide practical validity to this formulation. It provides highly efficient C++ implementations for a large subset of trackers introduced in literature to date and is designed to be easily extensible with additional methods. It follows this decomposition closely through extensive use of generic programming to provide a convenient interface to plug in a new method for any sub module and test it against all possible combinations of methods for the others. This can not only help to evaluate the new method in a more comprehensive manner but also make it immediately available for deployment in any project that uses the framework. Finally, three existing image similarity measures are adapted for high precision tracking and a new one is introduced to serve as case studies for the proposed approach of analyzing registration based tracking. Experiments are conducted using synthetic data as well as four large publicly available datasets with over 100000 frames in all to ensure the statistical validity of the results.

연구 동기 및 목표

• 지난 30년간 지속된, 등록 기반 시각 추적 분야에서의 분산되고 통합되지 않은 개발 문제를 해결하기 위해.
• 기존 추적기들을 세 가지 핵심 하위모듈—검색 방법, 외관 모델, 상태 공간 모델—으로 체계적으로 분해하기 위해.
• 다른 하위모듈의 모든 조합과의 플러그인 통합을 허용함으로써, 신규 추적 방법의 종합적 평가를 가능하게 하기 위해.
• 실제 추적 응용 프로그램에서의 구현 및 벤치마킹을 위한 실용적이고 확장 가능하며 효율적인 C++ 구현 프레임워크를 제공하기 위해.
• 100,000 프레임을 초과하는 합성 데이터 및 네 개의 대규모 공개 데이터셋에서의 광범위한 실험을 통해 프레임워크의 효과성을 검증하기 위해.

제안 방법

• 등록 기반 추적기들을 세 가지 모듈러 구성 요소—검색 방법(후보 위치 결정), 외관 모델(특징 표현), 상태 공간 모델(상태의 진화 및 추정)—으로 분해하기.
• 모든 세 하위모듈에 새로운 방법을 원활하게 통합할 수 있도록 템플릿 기반 프로그래밍을 사용한 일반적인 C++ 프레임워크 설계하기.
• 광범위한 호환성과 벤치마킹 커버리지 확보를 위해 문헌에 기반한 기존 추적기의 대부분을 이 모듈러 분해 구조로 구현하기.
• 성능 평가를 위한 사례 연구로, 세 가지 기존 이미지 유사도 측정 방법의 적응 및 새로운 하나의 측정 방법 도입하기.
• 합성 데이터 및 네 개의 대규모 공개 데이터셋(총 100,000 프레임 이상)에서 실험을 수행하여 결과의 통계적 타당성 확보하기.
• 모듈 간 모든 방법 조합을 체계적으로 테스트함으로써, 하위모듈 간의 종합적 아블레이션 및 성능 분석을 가능하게 하기.

실험 결과

연구 질문

• RQ1 기존의 등록 기반 시각 추적기는 어떻게 통합된 모듈러 구조로 체계적으로 분해될 수 있는가?
• RQ2 제안된 모듈러 프레임워크는 신규 추적 방법의 효율적이고 종합적인 평가를 어느 정도 가능하게 하는가?
• RQ3 이 프레임워크는 최소한의 엔지니어링 오버헤드로 실용적 구현 및 확장에 적합한가?
• RQ4 다양한 데이터셋에서 검색, 외관, 상태 공간 모델의 다양한 조합이 추적 성능에 어떤 영향을 미치는가?
• RQ5 100,000 프레임 이상의 대규모 벤치마킹을 통해 성능 비교의 통계적 신뢰도는 어느 정도인가?

주요 결과

• 모듈러 분해 구조는 검색, 외관, 상태 공간 모델로 핵심 구성 요소를 분리함으로써, 다양한 기존 등록 기반 추적기를 성공적으로 통합한다.
• 기존 메서드의 모든 조합과의 플러그인 통합을 허용함으로써, 새로운 방법의 즉각적인 구현 및 종합적 평가가 가능하다.
• C++ 구현은 높은 성능과 확장성을 제공하여, 네 개의 대규모 공개 데이터셋에서 100,000 프레임 이상의 벤치마킹을 지원한다.
• 세 가지 기존 유사도 측정 방법의 적응 및 새로운 측정 방법의 도입은 고정밀도 추적을 위한 이미지 유사도 평가 및 개선에 프레임워크의 유용성을 입증한다.
• 합성 데이터 및 실제 데이터에서의 실험을 통해 성능 비교의 통계적 타당성이 확인되었으며, 프레임워크의 강건성과 신뢰성을 검증한다.