[論文レビュー] Refinements in Motion and Appearance for Online Multi-Object Tracking

Piao Huang, Shoudong Han+5 more|arXiv (Cornell University)|Mar 16, 2020

Video Surveillance and Tracking Methods参考文献 31被引用数 11

ひとこと要約

本稿では、オンラインマルチオブジェクトトラッキングのための新規アーキテクチャMIFを提案する。MIFは、動きモデリング、3次元インテグラル画像、および適応的外観特徴融合を統合している。歩行者とカメラの動きを同時にモデリングし、3次元インテグラル画像を用いて空間的制約を適用することで効率的なデータ関連付けを実現するとともに、遮蔽やずれに対応するための外観特徴の適応的融合を実施する。MIFTトラッカーは、MOT16およびMOT17ベンチマークの両方で60.1 MOTAを達成し、最先端の性能を発揮する。

ABSTRACT

Modern multi-object tracking (MOT) system usually involves separated modules, such as motion model for location and appearance model for data association. However, the compatible problems within both motion and appearance models are always ignored. In this paper, a general architecture named as MIF is presented by seamlessly blending the Motion integration, three-dimensional(3D) Integral image and adaptive appearance feature Fusion. Since the uncertain pedestrian and camera motions are usually handled separately, the integrated motion model is designed using our defined intension of camera motion. Specifically, a 3D integral image based spatial blocking method is presented to efficiently cut useless connections between trajectories and candidates with spatial constraints. Then the appearance model and visibility prediction are jointly built. Considering scale, pose and visibility, the appearance features are adaptively fused to overcome the feature misalignment problem. Our MIF based tracker (MIFT) achieves the state-of-the-art accuracy with 60.1 MOTA on both MOT16&17 challenges.

研究の動機と目的

• マルチオブジェクトトラッキングシステムにおける分離された動きモデルと外観モデルの限界を解消すること。
• 歩行者とカメラの動きモデルを統合することで、軌道の連続性と耐障害性を向上させること。
• 3次元インテグラル画像を用いた空間的制約により、データ関連付けの計算コストを低減すること。
• 遮蔽、スケール変動、ポーズ変化によって引き起こされる特徴のずれを、遮蔽に配慮した外観モデルにより軽減すること。
• 提案されたフレームワークを検出タスクに拡張可能とし、共有されるモデリングコンponentsによって検出性能を向上させること。

提案手法

• 非剛体な歩行者動きと剛体なカメラ動きを同時に扱える、新規の動き強度指標を用いた動き統合モデルを提案する。
• 3次元インテグラル画像を用いて、検出位置をワンホット特徴マップに符号化し、データ関連付けのための定数時間空間フィルタリングを可能にする。
• スケール、ポーズ、時間的ギャップに基づいて可視性を推定し、特徴統合を適応的に制御する遮蔽に配慮した外観モデルを設計する。
• 可視性、スケール、ポーズ、時間ギャップを用いて、履歴軌道特徴と到着検出の差異を測定することで、外観特徴の適応的統合を実装する。
• MIFフレームワークをトラッカー（MIFT）に統合し、FPNを搭載したFaster R-CNNバックボーンと組み合わせることで検出器（MIFD）に拡張する。
• 3次元インテグラル画像を用いて、関連付けの過程で関係のない検出-軌道ペアを効率的に除外することで、探索空間を縮小しつつ精度を損なわない。

実験結果

リサーチクエスチョン

• RQ1 複雑なシーンにおける軌道推定を向上させるために、歩行者とカメラの動きをどのように効果的に統合できるか？
• RQ2 3次元インテグラル画像による空間的制約は、オンラインMOTにおけるデータ関連付けの計算コストを顕著に低減できるか？
• RQ3 遮蔽、スケール、ポーズの変動によって引き起こされる外観特徴のずれを、マルチオブジェクトトラッキングで効果的に軽減できるか？
• RQ4 共有されるコンponentsを通じてタスク間で統合されたMIFフレームワークが、トラッキングと検出の両方の性能をどの程度向上できるか？
• RQ5 動きと外観を統合的にモデリングすることで、高速なカメラ運動や重度の遮蔽が生じる困難なシーケンスにおいて、トラッキング精度に測定可能な向上が得られるか？

主な発見

• MIFTトラッカーは、MOT16およびMOT17ベンチマークの両方で、最先端のMOTA 60.1を達成し、既存のすべてのオンライントラッカーを上回る性能を示した。
• IDF1、MT（大部分が追跡済み）、ML（大部分が失われた）、FN（誤検出）といった複数の指標において優れた性能を示し、軌道の連続性と耐障害性の向上を示している。
• 3次元インテグラル画像の使用により、データ関連付けの時間計算量が定数時間に低下し、Tracktorのようなベースライン手法と比較して著しく高速化された。
• MIFベースの検出器（MIFD）は、0.88 AP、67.4 MODA、92.6%のリ콜を達成し、非MIFベースラインのFRCNN+FPNを多くの指標で上回った。
• MOT17-14（高速移動カメラ）やMOT17-03（混雑したシーン）といった困難なシーケンスにおいても、高い精度を維持しており、不規則な動きや遮蔽に対する耐障害性を示した。
• 適応的外観特徴統合機構は、部分的遮蔽や視点変化下でも、ノイズの多いまたはずれた特徴の影響を効果的に低減した。