[논문 리뷰] Online Adaptive Hidden Markov Model for Multi-Tracker Fusion

Vojir, Tomas, Jiřı́ Matas외 1명|arXiv (Cornell University)|2015. 04. 23.

Video Surveillance and Tracking Methods참고 문헌 22인용 수 4

한 줄 요약

이 논문은 다수의 상보적 트랙커와 검출기의 융합을 통해 강력한 시각적 객체 추적을 달성하는 온라인 적응형 은닉 마르코프 모델인 HMMTxD를 제안한다. 트랙커 장애 상태를 은닉 HMM 상태로 모델링하고, 검출기 출력을 이용해 비지도 Baum-Welch 학습을 감독함으로써, HMMTxD는 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 융합 방법에 비해 정확성과 가림에 대한 내성에서 뚜렷한 우월성을 보인다.

ABSTRACT

In this paper, we propose a novel method for visual object tracking called HMMTxD. The method fuses observations from complementary out-of-the box trackers and a detector by utilizing a hidden Markov model whose latent states correspond to a binary vector expressing the failure of individual trackers. The Markov model is trained in an unsupervised way, relying on an online learned detector to provide a source of tracker-independent information for a modified Baum- Welch algorithm that updates the model w.r.t. the partially annotated data. We show the effectiveness of the proposed method on combination of two and three tracking algorithms. The performance of HMMTxD is evaluated on two standard benchmarks (CVPR2013 and VOT) and on a rich collection of 77 publicly available sequences. The HMMTxD outperforms the state-of-the-art, often significantly, on all datasets in almost all criteria.

연구 동기 및 목표

• 도메인 이동이나 복잡한 운동 조건에서 실패하는 개별 트랙커의 한계를 해결하기 위해.
• 은닉 마르코프 모델을 사용하여 트랙커 신뢰도와 장애 상태를 모델링함으로써 강력한 다중 트랙커 융합을 가능하게 하기 위해.
• 완전한 애너테이션을 요구하지 않고도 검출기 출력을 이용해 부분적인 감독을 제공하는 온라인 비지도 학습 프레임워크를 개발하기 위해.
• 검출기 신뢰도 기반으로 실패한 트랙커를 동적으로 재초기화할 수 있도록 하여 장기 추적의 내성을 향상시키기 위해.
• 비균일한 신뢰도 추정치를 가진 다양한 트랙커를 확률적 HMM 프레임워크 내에서 관측 분포를 학습함으로써 융합하기 위해.

제안 방법

• 트랙커 상태를 각 트랙커의 성공 또는 실패를 나타내는 이진 벡터로 모델링하며, 은닉 상태는 트랙커 성능 조합을 나타낸다.
• 부분적으로 애너테이션된 데이터를 사용하여 온라인으로 학습된 객체 검출기에서 유래한 데이터를 이용해 비지도 HMM 학습을 수행하는 수정된 Baum-Welch 알고리즘을 적용한다.
• 검출기 출력은 현재 가장 가능성이 높은 HMM 상태와 일치할 경우에만 모델 업데이트의 참값으로 사용되어 오류 전파를 줄인다.
• 트랙커 신뢰도 점수의 관측 밀도를 베타 분포로 추정하기 위해 일반화된 모멘트 방법을 사용하여 확률적 융합을 가능하게 한다.
• 전이 확률은 기대되는 상태 전이에 따라 업데이트되며, 검출기로 확인된 프레임을 이용해 학습을 제약하고 장기적 안정성을 향상시킨다.
• 최종 자세 추정치는 이전 성능와 현재 관측치를 통합한 후보자들의 사후 확률에 가중치를 부여하여 트랙커 출력을 융합한다.

실험 결과

연구 질문

• RQ1 온라인 비지도 HMM이 비균일한 신뢰도 지표를 가진 다수의 상보적 트랙커를 효과적으로 융합할 수 있는가?
• RQ2 완전한 애너테이션 없이도 고정밀도 검출기를 사용해 HMM 학습을 감독할 수 있는가?
• RQ3 제안된 방법이 가림이나 트랙커 장애 이후 장기 추적 내성에 향상이 있는가?
• RQ4 HMM 프레임워크가 다양한 벤치마크에서 규칙 기반 또는 고정 가중치 융합 전략을 능가하는가?
• RQ5 검출기의 HMM 상태와의 일관성이 모델 학습과 추적 정확도 향상에 얼마나 기여하는가?

주요 결과

• CVPR2013 벤치마크에서 HMMTxD는 모든 평가 기준에서 최신 기술 수준의 방법을 능가하는 높은 정밀도와 성공률을 달성한다.
• VOT 벤치마크에서 HMMTxD는 특히 가림 및 장기 추적 과제에 대해 추적 정확도와 내성을 크게 향상시킨다.
• 77개의 공개적으로 이용 가능한 영상 시퀀스에서의 실험에서 HMMTxD는 베이스라인 융합 방법과 개별 트랙커보다 일관되게 뛰어난 성능을 보였다.
• 검출기 감독 하에 실패한 트랙커를 재초기화함으로써 장기 추적 성능이 향상되었으며, 이는 드리프트와 장애 전파를 줄이는 데 기여했다.
• 검출기 출력을 부분적 감독으로 사용함으로써 효과적인 온라인 학습이 가능해졌으며, HMM은 시간이 지남에 따라 변화하는 트랙커 신뢰도에 적응할 수 있었다.
• 베타 분포에 대한 일반화된 모멘트 방법을 통해 강한 파rametric 가정 없이도 트랙커 관측치의 정확한 모델링이 가능했다.