[論文レビュー] ReMOTS: Self-Supervised Refining Multi-Object Tracking and Segmentation

Fan Yang, Xin Chang+5 more|arXiv (Cornell University)|Jul 7, 2020

Video Surveillance and Tracking Methods参考文献 4被引用数 25

ひとこと要約

ReMOTSは、フレーム内および短いトラックレット間の学習を通じて、自己教師付きフレームワークを提案し、外見特徴の学習を段階的に改善することで、マルチオブジェクトトラッキングとセグメンテーション（MOTS）の結果を精錬する。CVPR 2020 MOTSチャレンジにおいて69.9 sMOTSAの最先端性能を達成し、アノテーションなしでマージ閾値を自動的に設定する統計的分析を用いている。

ABSTRACT

We aim to improve the performance of Multiple Object Tracking and Segmentation (MOTS) by refinement. However, it remains challenging for refining MOTS results, which could be attributed to that appearance features are not adapted to target videos and it is also difficult to find proper thresholds to discriminate them. To tackle this issue, we propose a self-supervised refining MOTS (i.e., ReMOTS) framework. ReMOTS mainly takes four steps to refine MOTS results from the data association perspective. (1) Training the appearance encoder using predicted masks. (2) Associating observations across adjacent frames to form short-term tracklets. (3) Training the appearance encoder using short-term tracklets as reliable pseudo labels. (4) Merging short-term tracklets to long-term tracklets utilizing adopted appearance features and thresholds that are automatically obtained from statistical information. Using ReMOTS, we reached the $1^{st}$ place on CVPR 2020 MOTS Challenge 1, with an sMOTSA score of $69.9$.

研究の動機と目的

• 自己教師付きの外見特徴の精錬を通じて、マルチオブジェクトトラッキングとセグメンテーション（MOTS）の性能を向上させること。
• アノテーションなしで、ターゲット動画に適応する外見特徴をどのように構築するかという課題に取り組むこと。
• 外見特徴の分布の統計的分析を用いて、短いトラックレットをマージするための最適な閾値を自動的に決定すること。
• フレーム内およびトラックレット間の一貫性を活用することで、MOTSにおけるデータ関連付けを向上させること。

提案手法

• ReMOTSは、同じフレームからの予測マスクを用いて外見エンコーダーを訓練し、対照的学習のための正例および負例のトリプレットペアを形成する。
• 光-flowと外見類似度を用いて隣接フレーム間のマスクを関連付けることで短いトラックレットを構築し、IoUとコサイン類似度を組み合わせた距離行列を用いる。
• これらの短いトラックレットを偽ラベルとして用いて、外見エンコーダーを再訓練し、特徴の識別能を向上させる。
• 時間的および空間的制約を強制する距離行列を用いて、階層的クラスタリングにより短いトラックレットを長期間のトラックにマージする。
• マージのためのカットオフ閾値は、トラックレット間のコサイン類似度ヒストグラムのピークから導出された1−θ_app_longとして自動的に設定される。
• 重複するマスクを解消するために、非最大抑制（NMS）に新規のIoM（最小値との交差率）指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 アノテーションなしで、自己教師付きの外見特徴の学習がMOTSの性能向上に寄与できるか？
• RQ2 MOTSにおいて、外見エンコーダーの再訓練に用いる信頼性の高い偽ラベルをどのように構築できるか？
• RQ3 短いトラックレットのマージ閾値を設定する効果的でデータ駆動型の手法は何か？
• RQ4 特徴分布の統計的分析は、MOTS精錬におけるヒューリスティックな閾値選択を置き換えることができるか？

主な発見

• ReMOTSは、CVPR 2020 MOTSチャレンジで69.9 sMOTSAというスコアで1位を達成し、他の手法と比較してIDF1スコアでも優れていた。
• 本手法は多様なシーケンスで高い性能を発揮し、個々のテストシーケンスでのスコアは68.5から87.2の範囲にわたり、広範囲にわたって安定していた。
• NMSにおけるIoMの使用により、マスクの重複問題が軽減され、精錬前のマスク品質が向上した。
• フレーム内およびトラックレット間のデータを用いた自己教師付き学習により、外見特徴の識別能が顕著に向上した。
• コサイン類似度のヒストグラム分析による自動閾値選択は、アノテーションがなくても効果的であった。
• 特徴分布の統計的分析が、短いトラックレットの堅牢で適応的なマージを可能にすることが、本フレームワークによって示された。