[論文レビュー] Deep Person Re-identification for Probabilistic Data Association in Multiple Pedestrian Tracking

Brian H. Wang, Yan Wang+2 more|arXiv (Cornell University)|Oct 19, 2018

Video Surveillance and Tracking Methods参考文献 11被引用数 6

ひとこと要約

本稿では、複数の歩行者トラッキングのための確率的データ関連フレームワークに、深層畳み込み特徴に基づく人物再識別（re-ID）特徴を統合する手法を提案する。ポーズ、視点、背景の変化に対して不変な深層畳み込み特徴を活用することで、遮蔽や経路の交差に強いトラッキングが実現され、PETS09-S2L1ではIDスイッチが80%、MOT17-04では48%削減された。

ABSTRACT

We present a data association method for vision-based multiple pedestrian tracking, using deep convolutional features to distinguish between different people based on their appearances. These re-identification (re-ID) features are learned such that they are invariant to transformations such as rotation, translation, and changes in the background, allowing consistent identification of a pedestrian moving through a scene. We incorporate re-ID features into a general data association likelihood model for multiple person tracking, experimentally validate this model by using it to perform tracking in two evaluation video sequences, and examine the performance improvements gained as compared to several baseline approaches. Our results demonstrate that using deep person re-ID for data association greatly improves tracking robustness to challenges such as occlusions and path crossings.

研究の動機と目的

• 遮蔽、混雑、経路の交差といった状況下でも正確なデータ関連を実現する課題に対処すること。
• 空間的位置に加えて、深層学習ベースの人物再識別を外観特徴として組み込むことで、トラッキングの耐性を向上させること。
• 実世界のトラッキングシーケンスにおいて、確率的データ関連モデルに深層re-ID特徴を統合する有効性を検証すること。
• 外観ベースの再識別が、位置情報のみまたは単純な色ヒストグラム手法と比較して、IDスイッチをどれほど削減できるかを示すこと。

提案手法

• 事前学習済みre-IDネットワークを用いて、人物検出から深層畳み込み特徴を抽出し、視点、ポーズ、背景の変化に対して不変な外観埋め込みを生成する。
• 外観類似度と空間的近接度を組み合わせたデータ関連モデルに、これらのre-ID特徴を統合する。
• 観測値がトラッキング中の人物に属する確率を、外観埋め込み距離と空間的距離の両方を基に計算する類似度モデルを用いる。
• 順次的トラッキングパイプラインにおいて、フレームごとに再帰的にモデルを適用し、Rao-Blackwellized粒子フィルタを用いて複数の仮説を維持する。
• 大規模な人物re-IDデータセットでre-IDモデルを学習させ、識別可能な特徴の学習を保証する。
• データ関連意思決定プロセスにおいて、位置とre-ID類似度を重み付き統合戦略で統合する。

実験結果

リサーチクエスチョン

• RQ1 深層人物再識別特徴は、困難な条件下における複数歩行者トラッキングのデータ関連性能を向上させることができるか？
• RQ2 re-ID特徴の導入は、位置情報のみまたは色ヒストグラムベースの外観モデルと比較して、IDスイッチをどれほど削減できるか？
• RQ3 深層re-IDの統合は、遮蔽や経路の交差時におけるトラッキングの耐性をどの程度向上させるか？
• RQ4 re-IDの導入が、多様な動画シーケンスにおける標準トラッキング指標（MOTAとMOTP）にどのような定量的影響を与えるか？

主な発見

• PETS09-S2L1シーケンスにおいて、re-ID特徴を統合した結果、位置情報のみのデータ関連と比較してIDスイッチが80%（30から6に）削減された。
• より複雑なMOT17-04シーケンスでは、re-IDを位置情報と併用することで、IDスイッチが48%（160から83に）削減された。
• 色ヒストグラムベースラインは性能が低く、誤ったトラックが真値アノテーションを上回る結果となり、MOTAスコアが負になった。
• MOTPはre-ID導入後もほとんど変化しなかったことから、局所化精度に悪影響は及ばなかったが、トラックの継続性に改善が見られた。
• 定性的な分析から、re-IDが遮蔽時や経路の交差時におけるIDスイッチを防止し、一貫した識別割り当てを維持していることが確認された。
• 密な歩行者シーンや複雑な相互作用の状況でも、本手法は優れた耐性を示し、深層re-IDが信頼できる外観特徴として有効であることが検証された。