[論文レビュー] Split and Connect: A Universal Tracklet Booster for Multi-Object Tracking

Gaoang Wang, Yizhou Wang+3 more|arXiv (Cornell University)|May 6, 2021

Video Surveillance and Tracking Methods参考文献 70被引用数 5

ひとこと要約

本論文では、潜在的なIDスイッチポイントでトラックレットを分割し、マルチヘッド自己注意機構に基づく埋め込みネットワークを用いて再接続することで、既存のトラッカーを強化する汎用的なトラックレットブースターを提案する。この手法は、検出パイプラインを変更せずにアソシエーションエラーを是正することで、MOT17およびMOT20ベンチマークで最大6.1%の IDF1 向上を達成した。

ABSTRACT

Multi-object tracking (MOT) is an essential task in the computer vision field. With the fast development of deep learning technology in recent years, MOT has achieved great improvement. However, some challenges still remain, such as sensitiveness to occlusion, instability under different lighting conditions, non-robustness to deformable objects, etc. To address such common challenges in most of the existing trackers, in this paper, a tracklet booster algorithm is proposed, which can be built upon any other tracker. The motivation is simple and straightforward: split tracklets on potential ID-switch positions and then connect multiple tracklets into one if they are from the same object. In other words, the tracklet booster consists of two parts, i.e., Splitter and Connector. First, an architecture with stacked temporal dilated convolution blocks is employed for the splitting position prediction via label smoothing strategy with adaptive Gaussian kernels. Then, a multi-head self-attention based encoder is exploited for the tracklet embedding, which is further used to connect tracklets into larger groups. We conduct sufficient experiments on MOT17 and MOT20 benchmark datasets, which demonstrates promising results. Combined with the proposed tracklet booster, existing trackers usually can achieve large improvements on the IDF1 score, which shows the effectiveness of the proposed method.

研究の動機と目的

• 遮蔽、照明の変化、変形による影響で生じる継続的な課題、特にIDスイッチエラーを解決すること。
• 検出器の再トレーニングを必要とせず、任意の既存トラッカーを強化できるプラグアンドプレイモジュールを開発すること。
• 2種類のアソシエーションエラーを低減すること：異なるオブジェクトが1つのトラックレットに統合されることと、同じオブジェクトが複数のトラックレットに分割されること。
• 主に時間的アソシエーションの頑健性を重視し、IDF1スコアの向上を目的とすること。
• 適応的スムージングと自己注意機構を用いた、トレーニング安定性と一般化性能に優れたフレームワークを設計すること。

提案手法

• スプリッター部は、積み重ねた時間的ドレインドコンボリューションブロックを用いて、トラックレット内の潜在的なIDスイッチ位置を予測する。
• ガウスカーネルを用いた適応的ラベルスムージング戦略により、教師信号の硬い境界を緩和し、トレーニングの安定性を向上させる。
• コネクタ部は、複数ヘッド自己注意エンコーダーを用いて、グループ化に適した判別性の高いトラックレット埋め込みを学習する。
• 類似した埋め込みを持つトラックレットは同じIDに統合され、断片化とクロス-IDの混同が低減される。
• 3つの損失成分（分割用の平均二乗誤差、マスク予測用の交差エントロピー、埋め込み対比用のトライオレット損失）を備えたエンドツーエンドトレーニング可能なフレームワークである。
• 本手法は推論後処理として適用されるため、任意の検出器ベーストラッカーと互換性がある。

Figure 1: Demonstration of association errors. The first error type shows multiple objects are associated to the same tracklet. The second error shows the same object are assigned to different tracklets.

実験結果

リサーチクエスチョン

• RQ1 汎用的なトラックレットブースターは、下位のトラッカーを変更せずに、多様なMOTベンチマークでIDF1スコアを向上させることができるか？
• RQ2 ガウスカーネルを用いた適応的ラベルスムージングは、トレーニング中にIDスイッチ位置予測の安定性を高めるのにどの程度効果的か？
• RQ3 マルチヘッド自己注意機構は、再接続に適したトラックレット埋め込み品質をどの程度向上させるか？
• RQ4 再接続の前にトラックレットを分割することで、2種類のアソシエーションエラーを同時に低減できるか？
• RQ5 分割および統合意思決定のための異なる推論閾値設定下でも、本手法はどの程度頑健か？

主な発見

• スプリッター＋コネクタの完全なトラックレットブースターは、ベースライントラッカーと比較してMOT17で6.1%、MOT20で5.8%のIDF1向上を達成した。
• 単体のコネクタモジュールはIDF1を3.7%向上させ、強力な再接続能力を示した。
• 単体のスプリッターモジュールはIDF1を1.4%低下させ、再接続がなければ分割だけでは性能が悪化することを確認した。
• 適応的スムージング戦略により、分割APがベースラインから9.4ポイント向上し、トレーニング安定性への有効性が裏付けられた。
• コネクタにおける最適なアテンションヘッド数は4であり、それ以上増加させてもさらなる向上が得られなかった。これは、複雑さと性能のバランスが取れていることを示している。
• 本手法は、さまざまな推論閾値設定下でも一貫したIDF1向上（>3.0%）を示し、ハイパーパramータ設定に対して頑健であることが確認された。

Figure 2: The flowchart of the proposed tracklet booster. The top part and bottom part show the process of Splitter and Connector, respectively. $f_{s}$ and $f_{c}$ represent the dilated temporal convolution model and multi-head self-attention based encoder used in Splitter and Connector, respective