[論文レビュー] Simple Unsupervised Multi-Object Tracking

Shyamgopal Karthik, Ameya Prabhu+1 more|arXiv (Cornell University)|Jun 4, 2020

Video Surveillance and Tracking Methods参考文献 68被引用数 23

ひとこと要約

本論文は、SORTからの疑似ラベルを活用し、未ラベル付き動画でクロスエントロピー損失を用いてReIDネットワークを訓練することで、高価なトラジェクトリーラベルの必要を排除する非教師ありre-identification手法SimpleReIDを提案する。MOT16/17で最先端の性能を達成し、CenterTrackなどの教師ありトラッカーを0.3 MOTAおよび4.8 IDF1上回る。これは、混雑し、遮蔽がある状況でも非教師ありReIDが教師あり性能に匹敵できることを示している。

ABSTRACT

Multi-object tracking has seen a lot of progress recently, albeit with substantial annotation costs for developing better and larger labeled datasets. In this work, we remove the need for annotated datasets by proposing an unsupervised re-identification network, thus sidestepping the labeling costs entirely, required for training. Given unlabeled videos, our proposed method (SimpleReID) first generates tracking labels using SORT and trains a ReID network to predict the generated labels using crossentropy loss. We demonstrate that SimpleReID performs substantially better than simpler alternatives, and we recover the full performance of its supervised counterpart consistently across diverse tracking frameworks. The observations are unusual because unsupervised ReID is not expected to excel in crowded scenarios with occlusions, and drastic viewpoint changes. By incorporating our unsupervised SimpleReID with CenterTrack trained on augmented still images, we establish a new state-of-the-art performance on popular datasets like MOT16/17 without using tracking supervision, beating current best (CenterTrack) by 0.2-0.3 MOTA and 4.4-4.8 IDF1 scores. We further provide evidence for limited scope for improvement in IDF1 scores beyond our unsupervised ReID in the studied settings. Our investigation suggests reconsideration towards more sophisticated, supervised, end-to-end trackers by showing promise in simpler unsupervised alternatives.

研究の動機と目的

• マルチオブジェクトトラッキングにおける高価なトラジェクトリーレベルのラベル付けを回避するため、非教師ありReID手法を開発すること。
• 遮蔽や視点の変化がある困難なトラッキング環境において、非教師ありReIDが教師ありReIDと同等の性能を達成できるかどうかを評価すること。
• 未ラベル付き動画データのみを用いて、非教師ありReIDと教師ありReIDの性能差を埋め合わせられるかどうかを調査すること。
• さまざまな検出器、トラッカー、データセットにわたる非教師ありReIDの汎用性とスケーラビリティを評価すること。
• 複雑で教師ありのエンドツーエンドトラッカーへの傾向に挑戦し、単純な非教師あり代替手法の有効性を示すこと。

提案手法

• 未ラベル付き動画上でSORTトラッカーを用いてトラッキング疑似ラベルを生成し、これらを訓練用の真のラベルとして扱う。
• 生成されたSORTラベルを予測するようにクロスエントロピー損失を用いてReIDネットワークを訓練し、トラジェクトリーラベルなしでエンドツーエンド学習を可能にする。
• オフザシェルオブジェクト検出器（例：YOLOv3、Faster R-CNN）を検出に用い、これらを非教師ありコンponentとして扱う。
• 複数のトラッカー（例：CenterTrack、DeepSORT、Tracktor）に非教師ありSimpleReIDモデルを統合し、汎用性を評価する。
• 上界の改善可能性を評価するため、教師ありReIDベースラインおよびOracle ReIDモデルと性能を比較する。
• 検出器やトラッカーを変えてアブレーションスタディを実施し、頑健性と性能の一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 SORTからの疑似ラベルで学習した非教師ありReIDモデルは、マルチオブジェクトトラッキングにおいて教師ありReIDと同等の性能を達成できるか？
• RQ2 提案手法の非教師ありアプローチは、ReIDに強く依存する（例：DeepSORTなど）多様な検出器およびトラッキングフレームワークに一般化できるか？
• RQ3 研究対象の設定において、ReIDが達成可能な性能の上限は何か？ また、SimpleReIDはその上限にどれほど近いか？
• RQ4 提案された非教師ありReIDのさらなる改善の余地は顕著に存在するか、それとも現在の向上は飽和しているか？
• RQ5 非教師ありReIDは、MOT16/17のような困難なベンチマークで最先端の教師ありトラッカーを上回ることができるか？

主な発見

• YOLOv3を用いたMOT17において、SimpleReIDはMOTA 67.7、IDF1 68.1を達成し、教師ありベースラインを0.3 MOTAおよび4.8 IDF1上回った。
• CenterTrackと組み合わせた非教師ありトラッカーは、MOT16/17で新たな最先端性能を達成し、以前の最良成績（CenterTrack）を0.3 MOTAおよび4.8 IDF1上回った。
• SimpleReIDとOracle ReIDの性能差はわずか3.3 IDF1ポイントであり、さらなる改善の余地が限定的であることを示している。
• YOLOv3、Faster R-CNN、HTCを含むすべてのテスト検出器において、SimpleReIDは教師ありReIDとの性能差を埋め合わせ、IDF1で2.0〜3.6ポイントの向上を達成した。
• 特にReID依存度の高いトラッカー（例：DeepSORT）において、単純なベースライン（ImageNet事前学習済みReIDやランダム特徴）を常に上回った。
• 結果から、遮蔽、相互作用、視点の変化がある複雑な状況でも、非教師ありReIDが教師あり性能に匹敵できることを示している。