[論文レビュー] Graph Neural Networks for 3D Multi-Object Tracking

Xinshuo Weng, Yongxin Wang+2 more|arXiv (Cornell University)|Aug 20, 2020

Video Surveillance and Tracking Methods参考文献 11被引用数 4

ひとこと要約

本論文は、特徴の相互作用にグラフニューラルネットワーク（GNNs）を活用し、2D/3Dの統合特徴抽出器を用いることで、識別的特徴学習を向上させる、新しい3次元マルチオブジェクトトラッキング（MOT）手法を提案する。GNNを用いてオブジェクト間の依存関係をモデル化し、2Dおよび3D空間からの外観と運動特徴を統合することで、KITTIデータセット上で最先端の性能を達成し、sAMOTAが93.92、MOTAが86.03を記録した。

ABSTRACT

3D Multi-object tracking (MOT) is crucial to autonomous systems. Recent work often uses a tracking-by-detection pipeline, where the feature of each object is extracted independently to compute an affinity matrix. Then, the affinity matrix is passed to the Hungarian algorithm for data association. A key process of this pipeline is to learn discriminative features for different objects in order to reduce confusion during data association. To that end, we propose two innovative techniques: (1) instead of obtaining the features for each object independently, we propose a novel feature interaction mechanism by introducing Graph Neural Networks; (2) instead of obtaining the features from either 2D or 3D space as in prior work, we propose a novel joint feature extractor to learn appearance and motion features from 2D and 3D space. Through experiments on the KITTI dataset, our proposed method achieves state-of-the-art 3D MOT performance. Our project website is at http://www.xinshuoweng.com/projects/GNN3DMOT.

研究の動機と目的

• オブジェクト間の依存関係をモデル化することで、3次元マルチオブジェクトトラッキングにおける識別的特徴学習を向上させること。
• 従来の検出ベースのトラッキングパイプラインにおける独立的特徴抽出の限界を解消すること。
• 2Dおよび3D空間からの補完的情報を活用して、より強固な運動および外観特徴を得ること。
• 2Dおよび3Dの外観および運動特徴を統合する共同特徴抽出器を開発し、データ関連付けを向上させること。
• オブジェクト間の相互作用を通じて文脈に配慮した特徴の更新を可能にするGNNの適用

提案手法

• 各ノードが2Dおよび3D空間からの統合特徴を表すグラフを構築し、エッジは潜在的な関連付けを表す。
• 多層GNNを適用して、隣接ノードからの情報を集約することで、各ノードの特徴を更新し、文脈に配慮した特徴学習を実現する。
• 4本のブランチを用いた特徴抽出器を採用し、2D外観、2D運動、3D外観、3D運動特徴を独立して学習した後、統合する。
• 4本のブランチからの特徴を統合して1つの表現にした後、GNNに供給し、相互作用と類似度計算を実行する。
• エンドツーエンド学習のために、ノード特徴にバッチトリプレット損失を適用し、予測された類似度行列に対して類似度損失を用いる。
• GNN内のエッジ回帰によりデータ関連付けを実行し、最終的な類似度行列を予測する。

実験結果

リサーチクエスチョン

• RQ1 グラフニューラルネットワークを用いてオブジェクト間の依存関係をモデル化することで、3次元マルチオブジェクトトラッキングにおける識別的特徴学習が向上するか？
• RQ2 2Dおよび3Dの外観および運動特徴を統合的に学習することで、単独のモダリティを使用する場合よりもより強固で識別的な特徴が得られるか？
• RQ3 提案手法のGNNベースの特徴相互作用機構は、独立的特徴抽出と比較して、データ関連付けの正確性にどのような影響を与えるか？
• RQ4 2Dおよび3D特徴の統合は、類似するオブジェクト間の混同を軽減し、複雑なシーンにおけるトラッキングの堅牢性を向上させるか？
• RQ5 文脈に配慮した特徴学習は、3次元トラッキングにおけるMOTAやAMOTAといった標準的なMOT指標にどのような影響を与えるか？

主な発見

• 提案手法は、KITTI 3D MOTベンチマークで93.92の最先端のsAMOTAスコアを達成した。
• MOTAは86.03を記録し、同じ評価設定下でmmMOT（74.07）、FANTrack（74.30）、AB3DMOT（86.24）を大きく上回った。
• IDスイッチ（IDS）は0にまで低下し、完全なIDの一貫性を示した。これは、mmMOTの10およびFANTrackの35と比較して顕著な改善である。
• フレグメンテーション（FRAG）は10件に留まり、比較されたすべての手法の中で最低水準であり、優れたトラッキング継続性を示した。
• AMOTAスコア45.83およびAMOTPスコア78.10は、全体的なトラッキング精度および局所化精度の両面で優れた性能を示した。
• アブレーションスタディの結果、共同2D/3D特徴抽出器およびGNNベースの相互作用機構の両方が、性能向上に不可欠であることが確認された。