[論文レビュー] PathTrack: Fast Trajectory Annotation with Path Supervision

Santiago Manén, Michael Gygli+2 more|arXiv (Cornell University)|Jan 1, 2017

Video Surveillance and Tracking Methods参考文献 40被引用数 4

ひとこと要約

この論文では、動画内でアノテーターがリアルタイムで物体の軌道をなぞる、高速で経路監視に基づくトラジェクトリーアノテーションのための新しいフレームワーク、PathTrackを紹介する。弱い経路アノテーションとオブジェクト検出を最適化することで、密な正確なボックス軌道が生成される。主な貢献は、15,380人の人物軌道を含む720のシーケンスにわたり、33倍も大きなMOTデータセットを提供したことである。このデータセットを用いて再訓練したトップMOT15トラッカーでは、IDスイッチが18%減少し、断片化が5%減少した。

ABSTRACT

Progress in Multiple Object Tracking (MOT) has been historically limited by the size of the available datasets. We present an efficient framework to annotate trajectories and use it to produce a MOT dataset of unprecedented size. In our novel path supervision the annotator loosely follows the object with the cursor while watching the video, providing a path annotation for each object in the sequence. Our approach is able to turn such weak annotations into dense box trajectories. Our experiments on existing datasets prove that our framework produces more accurate annotations than the state of the art, in a fraction of the time. We further validate our approach by crowdsourcing the PathTrack dataset, with more than 15,000 person trajectories in 720 sequences. Tracking approaches can benefit training on such large-scale datasets, as did object recognition. We prove this by re-training an off-the-shelf person matching network, originally trained on the MOT15 dataset, almost halving the misclassification rate. Additionally, training on our data consistently improves tracking results, both on our dataset and on MOT15. On the latter, we improve the top-performing tracker (NOMT) dropping the number of IDSwitches by 18% and fragments by 5%.

研究の動機と目的

• 既存のデータセットの高コストかつスケールの限界が、複数対象追跡（MOT）におけるボトルネックとなっている問題を解決すること。
• 動画再生中に人間の動きを活用して、より高速で効率的なアノテーション手法を開発し、トラジェクトリーデータを生成すること。
• データ駆動型トラッキングシステムの学習に適した大規模かつ多様なMOTデータセットを構築すること。
• 高数量・低精度のデータが、MOT用の深層マッチングモデルの学習において、高精度・低数量のデータを上回ることを検証すること。

提案手法

• アノテーターは、動画を再生しながらマウスで物体の経路をざっくりとリアルタイムでなぞする。これにより、待機時間が最小限に抑えられる。
• システムは経路アノテーションとオブジェクト検出を入力とし、グローバル最適化を実行して密で正確なボクシングボックス軌道を推定する。
• 最適化により、フレーム間の検出結果がリンクされ、弱い経路監視から高精度な軌道が得られる。
• 本手法は、特に大量で低精度なデータ収集に適した、トラジェクトリーアノテーション分野で最も高速な手法として設計されている。
• PathTrackデータセットは、この経路監視パイプラインを用いてAmazon Mechanical Turkを介してクラウドソーシングされた。
• PathTrackで学習した識別的個人マッチングネットワーク（TRID）を、PathTrackおよびMOT15の両方で評価した。

実験結果

リサーチクエスチョン

• RQ1 経路監視は、軌道の正確性を維持したまま、アノテーション時間を著しく短縮できるか？
• RQ2 大規模で高数量のMOTデータセットで学習させることで、小規模で高精度のデータセットよりもトラッキング性能が向上するか？
• RQ3 経路監視による弱いアノテーションを、密で正確なボックス軌道に効果的に変換できるか？
• RQ4 MOTデータ量に性能の飽和点があるか、それともデータ量を増やすことで性能が継続的に向上するか？

主な発見

• PathTrackは、既存のベンチマークと比較して33倍も大きなMOTデータセットを生成した。720のシーケンスに15,380人の人物軌道が含まれる。
• MOT15のみで学習した場合と比較して、PathTrackで学習した人物マッチングモデルでは誤分類率が45%低下した。
• MOT15のトップパフォーマンストラッカー（NOMT）をPathTrackデータで再訓練したところ、MOT15テストセットでIDスイッチが18%減少し、断片化が5%減少した。
• アノテーション時間の予算が同じ条件下で、経路監視を用いた高数量なアノテーション戦略は、88%のマッチング正確性を達成した。これは、LabelMeを用いた高精度戦略を10ポイント上回った。
• 最適化フレームワークは、経路アノテーションから正確なボックス軌道を生成でき、あらゆる品質レベルにおいて、トラジェクトリーアノテーション分野で最も高速な手法であることが証明された。
• 結果から、MOTにおける検出・関連付けモデルの学習において、訓練データの量が質よりもはるかに大きな影響を及ぼすことが示された。