[論文レビュー] Discriminative Appearance Modeling with Multi-track Pooling for Real-time Multi-object Tracking

Chanho Kim, Fuxin Li+2 more|arXiv (Cornell University)|Jan 28, 2021

Video Surveillance and Tracking Methods参考文献 38被引用数 4

ひとこと要約

本論文では、メモリ更新時にすべての追跡対象の外見特徴を統合的に活用することで、リアルタイムマルチオブジェクトトラッキングにおける判別的外見モデリングを向上させるマルチトラックプーリングモジュールを提案する。このモジュールをバイリニアLSTMフレームワークと新しいトレーニング戦略と統合することで、見過ごされがちな負例（他の類似するオブジェクト）を考慮したグリーディでオンラインなデータアソシエーションが可能となり、推論遅延を最小限に抑えながらSOTAの性能を達成する。

ABSTRACT

In multi-object tracking, the tracker maintains in its memory the appearance and motion information for each object in the scene. This memory is utilized for finding matches between tracks and detections and is updated based on the matching result. Many approaches model each target in isolation and lack the ability to use all the targets in the scene to jointly update the memory. This can be problematic when there are similar looking objects in the scene. In this paper, we solve the problem of simultaneously considering all tracks during memory updating, with only a small spatial overhead, via a novel multi-track pooling module. We additionally propose a training strategy adapted to multi-track pooling which generates hard tracking episodes online. We show that the combination of these innovations results in a strong discriminative appearance model, enabling the use of greedy data association to achieve online tracking performance. Our experiments demonstrate real-time, state-of-the-art performance on public multi-object tracking (MOT) datasets.

研究の動機と目的

• 既存のトラッカーが外見メモリを個別に更新するという制限を解消し、類似する外見を持つ他のオブジェクトからの判別性の高い負例を無視している点を是正すること。
• 視覚的に類似したオブジェクトが存在するシーンでも、すべてのトラックを統合的にモデリングすることでトラッキングのロバスト性を向上させること。
• バッチ内依存関係を活用した長時間系列学習を可能にするトレーニング戦略を開発し、従来の短時間系列トレーニングバイアスを克服すること。
• 前方フレームの予測や複雑なアソシエーションスキームを必要とせず、単純なグリーディデータアソシエーション戦略を用いてリアルタイムかつオンラインのトラッキング性能を達成すること。

提案手法

• 他のすべてのトラックの外見特徴を最大プーリングすることで、各ターゲットのメモリ更新におけるコンテキストとしての表現を計算するマルチトラックプーリングモジュールを導入する。
• バイリニアLSTMアーキテクチャを改変し、マルチトラックプーリングを統合することで、シーンのコンテキストに基づいて一致確率を動的に調整可能な共同外見モデリングを実現する。
• バッチ内に存在するトラック間の依存関係を活用し、長時間系列を模擬するトレーニング戦略を提案することで、全長のトラックに対してエンドツーエンドのトレーニングを可能にする。
• 運動モデルを用いたトラック拡張機構を導入し、検出の欠落時にもトラックを維持することで、遮蔽に対するロバスト性を向上させる。
• 特に拡張されたトラックに対して、予測位置を精緻化するためのバウンディングボックスコントローラを適用する。
• 信頼度しきい値と最大欠落フレーム数を設定したグリーディデータアソシエーションを採用し、リアルタイム性能を維持する。

実験結果

リサーチクエスチョン

• RQ1 すべての追跡対象を統合的にモデリングすることで、視覚的に類似したターゲットが存在するシーンにおけるトラッキング精度が向上するか？
• RQ2 マルチトラックプーリングは計算負荷を増加させることなく、外見モデルの判別力を向上させるか？
• RQ3 強力でコンテキストに適応した外見モデルと組み合わせたグリーディデータアソシエーション戦略が、SOTA性能を達成できるか？
• RQ4 バッチ内依存関係を活用したミニバッチトレーニングにより、短時間ランダムシーケンスではなく長時間系列のトラッキングモデルを効果的に学習できるか？
• RQ5 標準的なMOTベンチマークにおいて、本手法は既存のオンラインおよびニアオンライントラッカーと比較して、速度と精度の両面で優れているか？

主な発見

• 提案手法はMOT17およびMOT16ベンチマークでSOTA性能を達成し、オンライン設定では53.5 MOTAおよび48.3 IDF1を記録し、大多数の既存オンライントラッカーを上回る。
• マルチトラックプーリングモジュールは、ニアオンライン設定におけるベースラインMHT-bLSTMと比較して、IDF1を7.5%、MOTAを12.8%向上させ、顕著に少ないIDスイッチと断片化を実現した。
• Tracktor処理済み検出を用いた場合、最も近い競合手法と比較して3倍の高速化を達成しながらも、優れたIDF1と少ないIDスイッチを維持した。
• アブレーションスタディにより、マルチトラックプーリングはすべての指標において一貫して性能を向上させ、特にIDスイッチと断片化の低減に寄与していることが確認された。
• Tracktorの補正を用いない状態でも強力な性能を発揮し、公表済みの検出結果のみを用いても検出品質に頑健であることが示された。
• トレーニング戦略により、効果的な長時間系列学習が可能となり、短時間系列事前学習に比べて一般化性能が向上し、全体的な性能が向上した。