[논문 리뷰] Object Tracking via Dynamic Feature Selection Processes

Giorgio Roffo, Simone Melzi|arXiv (Cornell University)|2016. 09. 07.

Video Surveillance and Tracking Methods참고 문헌 5인용 수 4

한 줄 요약

이 논문은 감독된 Inf-FS 알고리즘의 변형을 사용하여 대상과 배경 간에 가장 분류 능력이 뛰어난 특징을 동적으로 선택하는 동적 특징 선택 트래커(Dynamic Feature Selection Tracker, DFST)를 제안한다. 이 특징 선택 기법을 적응형 색상 트래킹(Adaptive Color Tracking, ACT) 프레임워크에 통합함으로써, 외관 변화, 조도 변화, 간섭 요소 등에 대한 정확도와 강인성을 향상시켰으며, VOT2016 챌린지에서 성공률 5.06과 정밀도 0.57을 기록하여 최고 성능을 달성하였다.

ABSTRACT

DFST proposes an optimized visual tracking algorithm based on the real-time selection of locally and temporally discriminative features. A feature selection mechanism is embedded in the Adaptive colour Names (CN) tracking system that adaptively selects the top-ranked discriminative features for tracking. DFST provides a significant gain in accuracy and precision allowing the use of a dynamic set of features that results in an increased system flexibility. DFST is based on the unsupervised method "Infinite Feature Selection" (Inf-FS), which ranks features according with their "redundancy" without using class labels. By using a fast online algorithm for learning dictionaries the size of the box is adapted during the processing. At each update, we use multiple examples around the target (at different positions and scales). DFST also improved the CN by adding micro-shift at the predicted position and bounding box adaptation.

연구 동기 및 목표

• 외관 변화에 취약한 고정된 특징 집합을 사용하는 시각 트래커(예: ACT)의 한계를 해결하여 시스템의 유연성을 향상시키기 위해.
• 실시간으로 대상 정체성에 가장 관련성이 높은 특징을 동적으로 선택하여 전경과 배경 간의 분류 능력을 향상시키기 위해.
• 전체 그래프 구축을 피하는 감독된 Inf-FS의 변형을 도입하여 특징 선택의 계산 오버헤드를 줄이기 위해.
• 적응형 특징 가중치를 통해 조도 변화, 배경 혼잡, 간섭 요소에 대한 트래커의 강인성을 향상시키기 위해.
• GPU나 분산 처리에 의존하지 않고도 VOT2016 챌린지에서 높은 성능을 달성하기 위해.

제안 방법

• 대상(전경)과 배경 클래스 간의 분류 능력에 기반해 특징을 순위 매기는 감독된 Inf-FS 알고리즘의 변형을 도입한다.
• 피셔 기준과 t-검정 p-값을 기반으로 유도된 가중치 행렬 A를 사용해 특징 유사성 그래프를 구성하며, 간선 가중치는 특징 쌍의 공동 분류 능력을 반영한다.
• 감독된 Inf-FS를 사용해 그래프 내 모든 경로를 통해 대상과 배경을 분리하는 데 기여하는 특징의 최종 점수를 할당한다.
• 각 프레임에서 상위 순위 특징들만 사용해 공분산 행렬 C를 재계산하는 방식으로 특징 선택 모듈을 ACT 트래커에 통합한다.
• 다중 목표 스케일 패치에서 복원 오차를 최소화하기 위해 250개의 원자와 200회의 반복을 사용하는 온라인 사전 학습 기법을 적용하여 경계 상자 크기를 적응적으로 조정한다.
• 국소 이동 보정(micro-shift refinement)을 예측 위치에 적용하여 정위치 결정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 고정된 특징 집합에 비해 동적이고 적응적인 특징 선택 메커니즘이 시각 트래킹의 정확도와 강인성 향상에 기여하는가?
• RQ2 Inf-FS와 같은 비감독 특징 선택 방법의 계산 비용을 유지보수하면서도 분류 성능을 손상시키지 않고 줄일 수 있는가?
• RQ3 전경과 배경 클래스 간의 분리가 조도 변화나 외관 변화 상황에서 특징의 관련성과 트래커의 강인성에 얼마나 기여하는가?
• RQ4 온라인 사전 학습 기법이 추적 속도를 저하시키지 않고 실시간으로 경계 상자 크기를 효과적으로 조정할 수 있는가?
• RQ5 엄격한 평가 기준을 적용한 VOT2016 챌린지에서 제안된 방법은 간섭 요소와 외관 이탈을 다루는 데 얼마나 효과적인가?

주요 결과

• DFST 트래커는 VOT2016 챌린지에서 성공률 5.06과 정밀도 0.57을 기록하여 베이스라인 ACT 트래커를 크게 앞섰다.
• 감독된 Inf-FS 변형은 전체 쌍별 상관관계 계산이 필요 없어지면서 특징 그래프 구축에 소요되는 시간을 줄였다.
• 특징 선택은 조도 변화에 대해 분류 능력이 유지되는 특징을 선호함으로써 조도 변화에 대한 강인성을 향상시켰다.
• 특징이 큰 배경 영역에서 동시에 활성화되는 것을 방지함으로써 공간적으로 관련된 배경 혼잡을 효과적으로 억제하였다.
• 온라인 사전 학습 기법의 통합으로 복원 오차 최소화를 통해 경계 상자 크기 조정이 적응적으로 가능해져 정위치 결정 정확도가 향상되었다.
• GPU 가속을 사용하지 않고도 표준 CPU에서 최대 16.53 FPS의 높은 프레임 레이트를 유지하여 실시간 실행 가능성은 입증하였다.