[論文レビュー] Online Multi-Object Tracking with Unsupervised Re-Identification Learning and Occlusion Estimation

Qiankun Liu, Dongdong Chen+5 more|arXiv (Cornell University)|Jan 4, 2022

Video Surveillance and Tracking Methods被引用数 5

ひとこと要約

本論文は、追跡のずれと遮蔽による物体の紛失を解消するため、自己教師付き再識別学習と遮蔽推定を組み合わせたオンラインマルチオブジェクトトラッキングフレームワークを提案する。隣接フレーム間の自己教師付きマッチング損失と、失われたオブジェクトを回復するための遮蔽マップ予測を活用することで、IDラベルを一切用いずに最先端の性能を達成し、プライベート検出器を用いたMOT20において、教師ありベースラインを上回る性能を発揮する。

ABSTRACT

Occlusion between different objects is a typical challenge in Multi-Object Tracking (MOT), which often leads to inferior tracking results due to the missing detected objects. The common practice in multi-object tracking is re-identifying the missed objects after their reappearance. Though tracking performance can be boosted by the re-identification, the annotation of identity is required to train the model. In addition, such practice of re-identification still can not track those highly occluded objects when they are missed by the detector. In this paper, we focus on online multi-object tracking and design two novel modules, the unsupervised re-identification learning module and the occlusion estimation module, to handle these problems. Specifically, the proposed unsupervised re-identification learning module does not require any (pseudo) identity information nor suffer from the scalability issue. The proposed occlusion estimation module tries to predict the locations where occlusions happen, which are used to estimate the positions of missed objects by the detector. Our study shows that, when applied to state-of-the-art MOT methods, the proposed unsupervised re-identification learning is comparable to supervised re-identification learning, and the tracking performance is further improved by the proposed occlusion estimation module.

研究の動機と目的

• 検出器が遮蔽されたオブジェクトを多く紛失するオンラインマルチオブジェクトトラッキングにおける遮蔽の課題に対処すること。
• 隣接フレーム間の外観の一貫性に基づく自己教師付き学習アプローチを導入することで、再識別における高コストなIDラベルの必要性を排除すること。
• 遮蔽推定モジュールを用いて遮蔽領域を予測することで、遮蔽により紛失したオブジェクトを能動的に回復すること。
• 教師ありRe-IDや複雑なデータパイプラインに依存せずに、リアルタイムのオンライントラッキングシステムにおけるトラッキングのロバスト性と精度を向上させること。

提案手法

• 隣接する2フレーム間のマッチングに基づく損失関数を用いる自己教師付きRe-ID学習モジュールを導入し、IDラベルや分類ヘッドの必要性を回避する。
• 損失関数は、連続するフレーム間で同一IDの特徴量が類似するように促進するとともに、異なるIDまたはシーンの特徴量を分離するように設計される。
• 対照的学習を用いたシアンプスネットワークアーキテクチャを採用し、IDの監視なしに判別性の高い特徴量を学習する。
• 現在のフレーム内でのオブジェクト間の潜在的遮蔽領域を示す遮蔽マップを予測するための遮蔽推定モジュールを提案する。
• 予測された遮蔽マップを活用して、再出現時のオブジェクトの可能性のある位置を推定し、紛失したオブジェクトの再識別を支援する。
• 両モジュールをFairMOT や CenterTrack などの既存のオンラインMOTフレームワークにプラグアンドプレイ方式で統合し、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きRe-ID学習は、IDラベルを一切要件とせず、教師ありRe-IDと同等の性能を達成できるか？
• RQ2 遮蔽領域の予測が、検出器が捉え損なう重度の遮蔽オブジェクトの回復を改善できるか？
• RQ3 リアルタイム推論制約のもとでのオンライントラッキング環境において、提案フレームワークはどのように性能を発揮するか？
• RQ4 自己教師付きRe-IDと遮蔽推定の組み合わせが、MOTA や IDF1 といったトラッキング指標を向上させるか？

主な発見

• 提案された自己教師付きRe-ID学習は、FairMOT において教師ありRe-IDと同等の性能を達成し、プライベート検出器を用いたMOT20ではIDF1が2.1%低いものの、MOTA は向上した。
• 両モジュールを統合したCenterTrackベースのトラッカーOTrack_ctは、MOT17で公開検出器を用いる場合にベースラインのCenterTrack比でMOTAが2.4%向上し、プライベート検出器を用いる場合にも1.2%向上した。
• 遮蔽推定モジュールのおかげで、遮蔽が深刻で検出不能な状態でも、誤検出（FN）が顕著に減少し、紛失オブジェクトの回復が可能になった。
• オブジェクトの再検出に起因する誤検出（FP）が増加する一方で、FNの著しい減少と再現率の向上により、全体のトラッキング性能が向上した。
• プライベート検出器を用いたMOT20において、OUTrack_fmは、より少ない事前学習データとRe-IDにおけるID監視なしに、FairMOT を上回る性能を発揮した。
• CrowdHumanでの事前学習とRe-IDモジュールの自己教師付き性のおかげで、本手法はデータセット間で良好に一般化され、特に混雑したシーンにおいて優れた性能を示した。