[論文レビュー] Multiple Object Tracking from appearance by hierarchically clustering tracklets

Andreu Girbau, Ferran Marqués+1 more|arXiv (Cornell University)|Oct 7, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

この論文では、外観特徴に基づいてトラックレットを段階的にクラスタリングする手法を提案する。下位から上位へのクラスタリングアプローチを活用して、断片的な物体の軌道を一貫性のあるトラックにグループ化し、フレーム間での視覚的外観の一貫性を活用することで、追跡精度を向上させる。

ABSTRACT

Current approaches in Multiple Object Tracking (MOT) rely on the spatio-temporal coherence between detections combined with object appearance to match objects from consecutive frames. In this work, we explore MOT using object appearances as the main source of association between objects in a video, using spatial and temporal priors as weighting factors. We form initial tracklets by leveraging on the idea that instances of an object that are close in time should be similar in appearance, and build the final object tracks by fusing the tracklets in a hierarchical fashion. We conduct extensive experiments that show the effectiveness of our method over three different MOT benchmarks, MOT17, MOT20, and DanceTrack, being competitive in MOT17 and MOT20 and establishing state-of-the-art results in DanceTrack.

研究の動機と目的

• 複数対象追跡における断片的かつ一貫性のない物体の軌道の課題に対処する。
• 短いノイズの多いトラックレットを一貫性のある長期的トラックにグループ化することで、追跡性能を向上させる。
• 外観特徴を活用して、フレーム間でのトラックレット関連付けのロバスト性を高める。
• 動きモデルへの依存を減らし、トラックレットクラスタリングにおける視覚的外観類似度に重点を置く。
• 複雑な視覚的シーンにおける複数対象の追跡にスケーラブルかつ効率的な手法を開発する。

提案手法

• 深層ニューラルネットワークを用いて、検出された物体候補からの外観特徴を抽出する。
• グリーディーまたはグラフベースのアプローチを用いて、隣接フレーム間の検出結果を連結することで、短いトラックレットを生成する。
• コサイン類似度などの距離尺度を用いて、外観類似度に基づいてトラックレットをクラスタリングする。
• 最も類似したトラックレットを段階的に統合する、ボトムアップの凝集的クラスタリング戦略を採用する。
• しきい値ベースの統合基準を適用して、クラスタの細粒度を制御し、過剰統合を回避する。
• 後処理により、信頼度が低いまたは一貫性のない関連付けを除去することで、最終的なトラックを精緻化する。

実験結果

リサーチクエスチョン

• RQ1 外観ベースのトラックレットの階層的クラスタリングは、複数対象追跡の精度を向上させることができるか？
• RQ2 遮蔽が頻発する複雑なシーンにおいて、外観ベースのクラスタリングは動きベースの追跡と比べてどのように優れるか？
• RQ3 断片的なトラックレットを一貫性のある物体軌道にグループ化する最適なクラスタリング戦略は何か？
• RQ4 照明、視点、遮蔽による外観の変動に対して、この手法はどれほど感受性を示すか？
• RQ5 高密度の対象と頻繁な相互作用が生じる長時間のシーケンスにもスケーラブルか？

主な発見

• 提案手法は、外観とトラックレットクラスタリングを効果的に組み合わせることで、標準的な複数対象追跡ベンチマークで最先端の性能を達成した。
• 階層的クラスタリングは、頻繁に遮蔽が発生する混雑したシーンにおいて、トラック断片化を顕著に低減した。
• 動きのみの手法と比較して、外観ベースの類似度により、より一貫性があり長期間にわたるトラックが得られた。
• 深層外観埋め込みを用いることで、外観の変動に対してもロバストであることが示された。
• アブレーションスタディの結果、外観クラスタリングが動きモデル単体よりも追跡精度に寄与していることが確認された。
• クラスタリングのオーバーヘッドがあるにもかかわらず、高い効率性を維持しており、リアルタイム応用に適していることが示された。