[論文レビュー] TrackMPNN: A Message Passing Graph Neural Architecture for Multi-Object Tracking

Akshay Rangesh, Pranav Maheshwari+4 more|arXiv (Cornell University)|Jan 11, 2021

Video Surveillance and Tracking Methods参考文献 60被引用数 25

ひとこと要約

TrackMPNN は、ローリングウィンドウで動作する動的な無向グラフとメッセージパッシングニューラルネットワークを使用したオンラインのマルチオブジェクト追跡を提案し、2Dボックスの位置とカテゴリIDのみを用いて競争力のある結果を達成します。

ABSTRACT

This study follows many classical approaches to multi-object tracking (MOT) that model the problem using dynamic graphical data structures, and adapts this formulation to make it amenable to modern neural networks. Our main contributions in this work are the creation of a framework based on dynamic undirected graphs that represent the data association problem over multiple timesteps, and a message passing graph neural network (MPNN) that operates on these graphs to produce the desired likelihood for every association therein. We also provide solutions and propositions for the computational problems that need to be addressed to create a memory-efficient, real-time, online algorithm that can reason over multiple timesteps, correct previous mistakes, update beliefs, and handle missed/false detections. To demonstrate the efficacy of our approach, we only use the 2D box location and object category ID to construct the descriptor for each object instance. Despite this, our model performs on par with state-of-the-art approaches that make use of additional sensors, as well as multiple hand-crafted and/or learned features. This illustrates that given the right problem formulation and model design, raw bounding boxes (and their kinematics) from any off-the-shelf detector are sufficient to achieve competitive tracking results on challenging MOT benchmarks.

研究の動機と目的

• dynamic_graphs の時間とともに進化する推論としてマルチオブジェクト追跡をモデル化する。
• メモリ効率の良い更新を通じて、複数の時間ステップにわたるオンラインでリアルタイムな推論を可能にする。
• 生の 2D 境界ボックスとカテゴリID だけで競争力の MOT パフォーマンスを達成できることを示す。
• ローリングウィンドウグラフ更新とデ decoding を含む、スケーラブルなトレーニング/推論フレームワークを実証する。
• 標準ベンチマーク（例：KITTI MOT）上で最新の MOT 手法と比較する。

提案手法

• 検出をノードとして、潜在的な関連をエッジとして、動的でローリングウィンドウグラフに表現する。
• 新しいフレームが到着するたびに進化する検出ノードと関連ノードを持つ無向二部グラフを使用する。
• 検出ノードと関連ノードの別々の更新を含む、注意機構ベースのメッセージ伝搬を用いた専用の TrackMPNN を適用する。
• 検出、関連、および競合エッジタスクの組み合わせ損失で訓練し、メモリを扱いやすくするためにミニシーケンスを使用する。
• ユー decoding は貪欲法またはハンガリアンマッチングで行い、メモリと計算を抑制するためにグラフを剪定する。

実験結果

リサーチクエスチョン

• RQ1 動的でローリングなグラフ上で動作するグラフニューラルネットワークは、従来の MOT パイプライン（手作りのコストや特徴に依存）を上回ることができるか？
• RQ2 MOT におけるデータ連結のために、2D ボックス位置とカテゴリID のみを使用することは十分か？
• RQ3 ローリングウィンドウのグラフ更新とメモリ管理はオンライン追跡の性能と安定性にどう影響するか？

主な発見

• TrackMPNN のオンライン GNN フレームワークは、2D ボックス位置とカテゴリID のみを特徴として使用しつつ、標準ベンチマークで競合的な MOT パフォーマンスを達成する。
• ローリングウィンドウと動的グラフ更新を用いることで、複数のタイムステップにわたるオンライン推論を可能にし、過去の誤りを修正することをサポートする。
• 注意メッセージ伝搬と差分ベースまたは結合ベースの関連更新は追跡指標に影響を与し、差分ベースの更新が有利な結果を示す。
• 訓練時のデータ拡張はほとんどの MOT 指標を改善し、特に小規模なデータセットで効果が高い。
• ハンガリアンアルゴリズムを用いたデコードは、追加計算コストを伴うがトラックの連続性を改善する。