[論文レビュー] Online Visual Multi-Object Tracking via Labeled Random Finite Set Filtering

Du Yong Kim, Ba‐Ngu Vo+1 more|arXiv (Cornell University)|Nov 18, 2016

Video Surveillance and Tracking Methods参考文献 45被引用数 11

ひとこと要約

本論文は、状態推定、トラック管理、遮蔽処理を1つのベイズ再帰に統合するラベル付き確率有限集合（RFS）フィルタリングを用いたオンラインマルチオブジェクトトラッキングアルゴリズムを提案する。誤検出時に検出結果と局所的な画像データの間で適応的に切り替えることで、線形の計算量で高い精度を達成し、検出率、誤検出、IDスイッチの観点で最先端のオンライントラッカーを上回り、MATLABで20 fpsのリアルタイム性能を維持する。

ABSTRACT

This paper proposes an online visual multi-object tracking algorithm using a top-down Bayesian formulation that seamlessly integrates state estimation, track management, clutter rejection, occlusion and mis-detection handling into a single recursion. This is achieved by modeling the multi-object state as labeled random finite set and using the Bayes recursion to propagate the multi-object filtering density forward in time. The proposed filter updates tracks with detections but switches to image data when mis-detection occurs, thereby exploiting the efficiency of detection data and the accuracy of image data. Furthermore the labeled random finite set framework enables the incorporation of prior knowledge that mis-detections of long tracks which occur in the middle of the scene are likely to be due to occlusions. Such prior knowledge can be exploited to improve occlusion handling, especially long occlusions that can lead to premature track termination in on-line multi-object tracking. Tracking performance are compared to state-of-the-art algorithms on well-known benchmark video datasets.

研究の動機と目的

• 動的オブジェクト数、トラックの開始/終了、遮蔽処理を伴うオンラインマルチオブジェクトトラッキングの課題に対処すること。
• 計算効率を維持しつつ、検出ベースの手法による情報損失を低減すること。
• 長時間の遮蔽中、オブジェクトが生存する確率が高くなるという事前知識を組み込むことで、長時間の遮蔽処理を改善すること。
• ラベル付きRFSを用いて、状態推定、ゴミ信号の排除、トラック管理を1つのベイズ再帰に統合すること。
• バッチ処理およびオンライン処理と比較して、トラッキング精度を犠牲にせずにリアルタイム性能を達成すること。

提案手法

• トラックの体系的ラベリングと管理を可能にするために、マルチオブジェクト状態をラベル付き確率有限集合（RFS）としてモデル化する。
• 検出観測と画像観測を統合したハイブリッドマルチオブジェクト尤度関数を用い、忠実度を向上させる。
• 提案された尤度関数に対して共役である一般化ラベル付きマルチベルヌーイ（GLMB）分布を採用し、ベイズ再帰の解析的解法を可能にする。
• トラッキング更新を適応的に処理：検出結果が利用可能な場合は効率性を確保し、誤検出時には空間的文脈を保持するため局所的な画像領域に切り替える。
• 長時間遮蔽されたオブジェクトは消滅しにくいという事前知識を組み込み、過剰なトラック終了を遅らせる。
• GLMBフレームワーク内でのチャップマン＝コルモゴロフ方程式を適用し、フィルタリング密度を時間的に前方に伝搬する。

実験結果

リサーチクエスチョン

• RQ1 統一されたベイズ枠組みは、オンラインマルチオブジェクトトラッキングにおける状態推定、トラック管理、遮蔽処理を統合できるか？
• RQ2 1つのトラッカー内で検出ベースの効率性と画像ベースの精度のバランスをどのように取れるか？
• RQ3 遮蔽中のオブジェクトの持続性に関する事前知識を活用することで、長期的なトラッキングの頑健性が向上するか？
• RQ4 ラベル付きRFSフレームワークは、バッチ処理およびオンライン処理と比較して、リアルタイム性能を維持しつつ競争力のある精度を達成できるか？
• RQ5 ハイブリッド尤度モデルは、1つの再帰内での検出結果と局所的画像データの両方を効果的に処理できるか？

主な発見

• GLMB-IMフィルタは、ベンチマークデータセットにおいてオンライントラッカーの中でリcallとFPFで最高または2位の性能を達成する。
• IDスイッチ（IDS）と断片化（Frag）の観点でも上位3位以内にランクインし、優れたトラックの一貫性を示す。
• 最適化されていないMATLABコードを用いた標準のラップトップでも20 fpsを維持しており、リアルタイム実現可能性を示している。
• オフライントラッカーであるRMOTと比較して、一部のシーケンスでは性能を上回り、他のシーケンスでは同等の精度を達成する。
• ラベル付きRFSフレームワークは基数分布を提供し、1フレームあたりのオブジェクト数の推定が可能になる（他の多くの手法では実現不可能）。
• フィルタは検出数に対して線形の計算量を示し、高密度トラッキングのシナリオへのスケーラビリティを実現する。