[論文レビュー] Recurrent Autoregressive Networks for Online Multi-Object Tracking

Kuan Fang, Xiang Yu+2 more|arXiv (Cornell University)|Nov 7, 2017

Video Surveillance and Tracking Methods参考文献 37被引用数 15

ひとこと要約

本稿では、短時間特徴の保存に外部メモリを、長期的な軌道ダイナミクスのモデル化に再帰セル内の内部メモリを組み合わせる、オンラインマルチオブジェクトトラッキングのための新しい時系列生成モデルである再帰的自己回帰ネットワーク（RANs）を提案する。本手法は、記憶された特徴に基づく自己回帰的確率推定により、混雑や隠蔽状態におけるデータアソシエーションを改善することで、MOT15およびMOT16ベンチマークで最先端の性能を達成する。

ABSTRACT

The main challenge of online multi-object tracking is to reliably associate object trajectories with detections in each video frame based on their tracking history. In this work, we propose the Recurrent Autoregressive Network (RAN), a temporal generative modeling framework to characterize the appearance and motion dynamics of multiple objects over time. The RAN couples an external memory and an internal memory. The external memory explicitly stores previous inputs of each trajectory in a time window, while the internal memory learns to summarize long-term tracking history and associate detections by processing the external memory. We conduct experiments on the MOT 2015 and 2016 datasets to demonstrate the robustness of our tracking method in highly crowded and occluded scenes. Our method achieves top-ranked results on the two benchmarks.

研究の動機と目的

• 混雑や隠蔽状態下でも信頼性の高いデータアソシエーションを実現するオンラインマルチオブジェクトトラッキングの課題に対処すること。
• 時系列依存性を捉える生成モデルを用いて、複数オブジェクトの長期的外観および運動ダイナミクスをモデル化すること。
• 固定ウィンドウテンプレートやRNNベースのトラッキングにおける過学習の限界を克服するため、二重メモリアーキテクチャを導入すること。
• 自動運転やロボット工学などのリアルタイム応用において、改善された軌道モデリングにより頑健なトラッキングを可能にすること。

提案手法

• RANフレームワークは、最近のオブジェクト特徴（外観および運動）のスライディングウインドウを短期的保持するための外部メモリを用いる。
• 再帰ネットワークの隠れ状態として実装された内部メモリは、長期履歴を要約し、外部メモリからの入力を処理する。
• モデルは、内部メモリおよび外部メモリの両方を基に、新しい検出の条件付き確率分布を推定するために自己回帰的生成を採用する。
• 各オブジェクトは専用のRANに割り当てられ、アンサンブルモデリングによるスケーラブルなマルチオブジェクトトラッキングが可能になる。
• ネットワークは、トラッキング意思決定に基づいて内部隠れ状態および外部メモリテンプレートを同時に更新するエンドツーエンドで学習される。
• データアソシエーションアルゴリズムは、RANが生成するパrameterを用いて尤度を計算し、ノイズや隠蔽状態下でも頑健なマッチングを実現する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、オンラインマルチオブジェクトトラッキングにおいて、短期的隠蔽や外観変動に強く、長期的軌道ダイナミクスを効果的にモデル化できるか？
• RQ2 明示的な外部メモリと内部再帰的メモリを組み合わせることで、トラッキング精度および一般化性能にどのような影響を与えるか？
• RQ3 自己回帰的予測を用いた生成モデルアプローチは、オンラインMOTにおけるデータアソシエーションで判別的ベースラインを上回ることができるか？
• RQ4 外部メモリの時間スパンが、困難なシーケンスにおけるトラッキング性能およびモデル安定性に与える影響は何か？
• RQ5 RANフレームワークは、高密度オブジェクト環境および頻繁な隠蔽が生じる現実世界のシナリオにどの程度一般化可能か？

主な発見

• RANモデルは、2DMOT2015テストセットにおいて、他のすべてのオンライン手法を上回る最先端のMOTA 68.3%を達成した。
• MOT16では、MOTA、IDS、FNの観点でオンライン手法として最高の性能を示し、MOTAは68.5%に達した。
• 全テスト動画においてIDS（IDスイッチ）が顕著に低減され、優れたデータアソシエーションの安定性を示した。
• 実験により、外部メモリの時間スパンを1ステップから12ステップに増加させることでMOTAが向上し、IDSが減少することが判明。性能は9ステップを過ぎて安定化した。
• 定性的な分析により、RANは隠蔽状態中、過去に記憶された特徴に依存するパラメータ推定戦略を採用し、再出現時に再び最新の特徴に戻ることを確認した。
• ETH-LinthescherおよびTUD-Crossingのような極めて混雑なシーンでも、RANフレームワークは外観の類似性や運動の曖昧さに起因する従来のトラッカーの課題に対して頑健であることが示された。