[論文レビュー] Online Adaptive Hidden Markov Model for Multi-Tracker Fusion

Vojir, Tomas, Jiřı́ Matas+1 more|arXiv (Cornell University)|Apr 23, 2015

Video Surveillance and Tracking Methods参考文献 22被引用数 4

ひとこと要約

本論文では、複数の補完的トラッカーと検出器を統合する、オンラインで適応する隠れマルコフモデル（HMMTxD）を提案する。トラッカーの故障状態を潜在的HMM状態としてモデル化し、検出器出力を用いて自己教師付きBaum-Welch学習を監督することで、複数のベンチマークで最先端の性能を達成し、既存の統合手法よりも精度と遮蔽に対する耐性において顕著に優れている。

ABSTRACT

In this paper, we propose a novel method for visual object tracking called HMMTxD. The method fuses observations from complementary out-of-the box trackers and a detector by utilizing a hidden Markov model whose latent states correspond to a binary vector expressing the failure of individual trackers. The Markov model is trained in an unsupervised way, relying on an online learned detector to provide a source of tracker-independent information for a modified Baum- Welch algorithm that updates the model w.r.t. the partially annotated data. We show the effectiveness of the proposed method on combination of two and three tracking algorithms. The performance of HMMTxD is evaluated on two standard benchmarks (CVPR2013 and VOT) and on a rich collection of 77 publicly available sequences. The HMMTxD outperforms the state-of-the-art, often significantly, on all datasets in almost all criteria.

研究の動機と目的

• ドメインのシフトや複雑な運動下で故障する個々のトラッカーの限界を解消すること。
• トラッカーの信頼性と故障状態を隠れマルコフモデルでモデル化することで、耐障害性の高いマルチトラッカー統合を実現すること。
• 完全なアノテーションを必要とせず、検出器出力を部分的監視として活用するオンラインで非教師ありの学習フレームワークを開発すること。
• 検出器の信頼度に基づいた動的再初期化を可能にすることで、長期追跡の耐障害性を向上させること。
• 非一様な信頼度推定を持つ多様なトラッカーを、確率的HMMフレームワークで観測分布を学習することで統合すること。

提案手法

• トラッカー状態を各トラッカーの故障または成功を示す2値ベクトルとしてモデル化し、潜在状態はトラッカー性能の組み合わせを表す。
• 部分的にアノテートされたデータを用いたオンライン学習で得られるオブジェクト検出器からの出力を用いて、修正版Baum-Welchアルゴリズムによる非教師付きHMM学習を実行する。
• 検出器出力は、現在の最も確率の高いHMM状態と整合する場合にのみ、モデル更新の真値として使用され、誤差伝搬を低減する。
• トラッカー信頼度スコアの観測分布をbeta分布で推定する一般化モーメント法を用い、強いパrametric仮定を必要としない確率的統合を可能にする。
• 遷移確率は予想される状態遷移に基づいて更新され、検出器で検証されたフレームを用いて学習を制約し、長期的な安定性を向上させる。
• 最終的なポーズ推定は、各トラッカー出力をその事後確率で重み付けした加重平均として統合し、過去の性能と現在の観測を統合する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで非教師付きのHMMが、非一様な信頼度指標を持つ複数の補完的トラッカーを効果的に統合できるか？
• RQ2 高精度な検出器を、完全なアノテーションを必要とせず、HMM学習を監視するためにどのように活用できるか？
• RQ3 提案手法が遮蔽やトラッカーの故障後に長期追跡の耐障害性を向上させるか？
• RQ4 HMMフレームワークが、ルールベースまたは固定重みの統合戦略を上回る性能を示すか？
• RQ5 検出器の出力がHMM状態と整合していることで、モデル学習と追跡精度がどの程度向上するか？

主な発見

• CVPR2013ベンチマークにおいて、HMMTxDはすべての評価基準で最先端の手法を上回る精度と成功確率を達成した。
• VOTベンチマークにおいて、HMMTxDは遮蔽や長期追跡の課題に対処する上で、追跡精度と耐障害性が顕著に向上した。
• 77の公開利用可能な動画シーケンスを用いた実験では、HMMTxDはベースライン統合手法および個々のトラッカーに対して一貫した優位性を示した。
• 検出器による監視付きの再初期化により、ドリフトや障害の伝搬を低減することで、長期追跡性能が向上した。
• 検出器出力を部分的監視として活用することで、効果的なオンライン学習が可能となり、HMMは時間経過に伴うトラッカー信頼度の変化に適応した。
• beta分布に従う信頼度スコアの一般化モーメント法により、強いパrametric仮定を必要とせず、トラッカー観測の正確なモデル化が可能になった。