[論文レビュー] SoDA: Multi-Object Tracking with Soft Data Association

Wei-Chih Hung, Henrik Kretzschmar+5 more|arXiv (Cornell University)|Aug 18, 2020

Video Surveillance and Tracking Methods参考文献 51被引用数 6

ひとこと要約

SoDAは、自己注意メカニズムを用いて時空間的文脈からトラック埋め込みを計算する、マルチオブジェクトトラッキングの新規フレームワークを提案する。これにより、ソフトなデータ関連付けと明示的な隠れ状態の推論が可能となり、ハードな関連付けを伴わない全検出情報の集約により、Waymo Open Datasetで最先端の性能を達成した。Tracktor++と比較してMOTAが5.0%向上し、IDSは30.8%低減した。

ABSTRACT

Robust multi-object tracking (MOT) is a prerequisite fora safe deployment of self-driving cars. Tracking objects, however, remains a highly challenging problem, especially in cluttered autonomous driving scenes in which objects tend to interact with each other in complex ways and frequently get occluded. We propose a novel approach to MOT that uses attention to compute track embeddings that encode the spatiotemporal dependencies between observed objects. This attention measurement encoding allows our model to relax hard data associations, which may lead to unrecoverable errors. Instead, our model aggregates information from all object detections via soft data associations. The resulting latent space representation allows our model to learn to reason about occlusions in a holistic data-driven way and maintain track estimates for objects even when they are occluded. Our experimental results on the Waymo OpenDataset suggest that our approach leverages modern large-scale datasets and performs favorably compared to the state of the art in visual multi-object tracking.

研究の動機と目的

• 複雑で遮蔽が発生する自動運転シーンにおけるロバストなマルチオブジェクトトラッキングの課題に取り組む。
• ハードなデータ関連付けの限界を克服し、誤りの伝搬や回復不能なトラッキング失敗を避ける。
• 全検出情報からの潜在的表現の学習により、遮蔽に関する包括的かつデータ駆動型の推論を可能にする。
• ヒューリスティックなチューニングを伴わずに、大規模データセットを活用してオブジェクトとトラック間の複雑な長距離依存関係を学習する。
• 手作業で設計されたしきい値やマルチハイポセシストラッキングのヒューリスティクスに依存しない統合フレームワークを開発する。

提案手法

• トランスフォーマー風の自己注意層を用いて、検出結果の時空間的文脈を符号化することで、マルチオブジェクトトラッキングをシーケンス・トゥ・シーケンス問題として定式化する。
• 全検出情報の特徴を時系列ウィンドウ内で集約する注目測定エンコーディングにより、トラック埋め込みを計算し、ソフトなデータ関連付けを実現する。
• 文脈特徴に基づいて遮蔽の可能性を明示的にモデル化するための潜在状態表現 $ z_{\text{occ}} $ を導入する。
• 全検出情報と全トラック間の類似度スコアを計算する統一された注目メカニズムを用い、ハードな関連付けの決定を回避する。
• 大規模データセット（例：Waymo Open Dataset）上でエンド・ツー・エンドに学習させ、ロバストで文脈に敏感なトラック表現を学習する。
• 注目メカニズムにROI Alignで抽出した外観特徴とボクセル座標を組み合わせることで、異なる特徴モダリティへの一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 注目ベースのモデリングが、誤りの伝搬を低減するためにハードなデータ関連付けを効果的に置き換えることができるか？
• RQ2 全検出情報から学習された潜在空間表現が、遮蔽状況下でのトラッキングのロバスト性を向上させることができるか？
• RQ3 データ駆動型のソフト関連付け機構が、ヒューリスティックベースやマルチハイポセシスアプローチをどれほど上回るか？
• RQ4 異なるカメラ画角、フレームレート、解像度を有する多様なシーケンスに対して、モデルの一般化性能はどの程度高いか？
• RQ5 大規模データセットで事前学習することで、MOT17 や KITTI のような小規模ベンチマークでの性能が向上するか？

主な発見

• Waymo Open Datasetでは、SoDAはMOTA 55.9%、IDF1 44.3%を達成し、Tracktor++（MOTA 53.5%）を上回った。MOTAは5.0%向上し、IDSは30.8%低減した。
• 将来の2フレームを入手可能にした場合、モデルの性能が向上する傾向にあり、より良い関連付け意思決定に時系列的文脈を効果的に活用していることが示された。
• Waymo Open Datasetで学習しKITTIで評価した場合、SoDAはIDSで17%の低減を達成し、大規模事前学習の利点を示した。
• ROI-Alignで抽出した外観特徴とボクセル座標を組み合わせた場合、性能が向上したことで、異なる特徴入力に対してもモデルの一般化が可能であることが実証された。
• 定性的な結果から、SoDAは潜在空間にエンコードされた文脈的情報を活用して、複雑な遮蔽状況下でもオブジェクトを正常にトラッキングしていることが確認された。
• MOT17ベンチマークでも、特にプライベート検出器を用いた場合、最先端の手法と競合する性能を示し、検出器のノイズに対して高いロバスト性を示した。