[論文レビュー] A unified neural network for object detection, multiple object tracking and vehicle re-identification

Yuhao Xu, Jiakui Wang|arXiv (Cornell University)|Jul 8, 2019

Video Surveillance and Tracking Methods参考文献 19被引用数 6

ひとこと要約

本論文は、Faster R-CNNに専用のトラックブランチを追加することで、物体検出、複数物体トラッキング、車両再識別を統合的に実行するエンドツーエンドの深層学習フレームワークを提案する。時系列に連結された動画フレームを用いてRoI特徴量を活用し、三重損失を用いた学習により、AIC19データセットで57.79%のmAPを達成し、高いトラッキング精度を実現。計算コストの増加を抑え、マルチタスク最適化を可能にした。

ABSTRACT

Deep SORT\cite{wojke2017simple} is a tracking-by-detetion approach to multiple object tracking with a detector and a RE-ID model. Both separately training and inference with the two model is time-comsuming. In this paper, we unify the detector and RE-ID model into an end-to-end network, by adding an additional track branch for tracking in Faster RCNN architecture. With a unified network, we are able to train the whole model end-to-end with multi loss, which has shown much benefit in other recent works. The RE-ID model in Deep SORT needs to use deep CNNs to extract feature map from detected object images, However, track branch in our proposed network straight make use of the RoI feature vector in Faster RCNN baseline, which reduced the amount of calculation. Since the single image lacks the same object which is necessary when we use the triplet loss to optimizer the track branch, we concatenate the neighbouring frames in a video to construct our training dataset. We have trained and evaluated our model on AIC19 vehicle tracking dataset, experiment shows that our model with resnet101 backbone can achieve 57.79 \% mAP and track vehicle well.

研究の動機と目的

• マルチオブジェクトトラッキングにおける検出器と再識別モデルの別々の学習による非効率性と最適でない性能を是正すること。
• 物体検出、トラッキング、再識別を1つのエンドツーエンドで学習可能なネットワークに統合すること。
• 検出とトラッキングブランチ間での特徴量共有により、計算コストを低減し、特徴量学習を向上させること。
• 単一画像では三重サンプルが不足する問題を補うために、隣接する動画フレームを用いてトレーニングデータを構築すること。
• mAP、MOTA、ペア精度を含む指標を用いて、AIC19車両トラッキングベンチマークでモデルを評価すること。

提案手法

• 検出ブランチとは別に、RoI特徴ベクトルを入力とするスイーベィングトラックブランチをFaster R-CNNに追加し、重複する特徴抽出を回避する。
• 検出とトラッキングの目的関数を組み合わせたマルチタスク損失を用いて、ネットワーク全体をエンドツーエンドで学習する。
• 動画シーケンスの隣接フレームを連結することで、三重損失用の正例・負例となるトリオを構築する。
• トラックブランチに三重損失を適用し、再識別用の判別性の高い外観埋め込みを学習する。
• 推論時においてはIoUベースのマッチングとハンガリアンアルゴリズムを用い、距離閾値をシナリオに応じて最適化する。
• ペア精度を用いて異なるカメラビュー間の再識別性能を評価するマルチカメラ評価プロトコルを採用する。

実験結果

リサーチクエスチョン

• RQ1 共有特徴量を用いたエンドツーエンドの統合ネットワークは、物体検出、トラッキング、再識別を同時に最適化できるか？
• RQ2 単一画像では十分な正例／負例が得られない状況において、時系列に連結されたフレームを用いた三重損失の学習が再識別性能にどのように寄与するか？
• RQ3 検出器とre-IDモデルを別々に学習する場合と比較して、エンドツーエンドのマルチタスク学習がmAPおよびトラッキング精度に与える影響は何か？
• RQ4 AIC19データセットのように走行中の車両のみがラベル付けされているような部分ラベル付け状況下でも、モデルはどのように性能を発揮するか？
• RQ5 単カメラとマルチカメラの再識別性能のトレードオフは何か？また、閾値設定が精度に与える影響は？

主な発見

• 提案された統合ネットワークは、部分ラベル付けがあるAIC19車両トラッキングデータセットで57.79%のmAPを達成し、強力な検出性能を示した。
• 単カメラシナリオではMOTAが8.10%、距離閾値0.343でペア精度が99.84%を達成した。
• マルチカメラシナリオでは距離閾値8.72で78.54%のペア精度を達成し、カメラビュー間での頑健性を示した。
• アブレーションスタディの結果、'プル'損失成分を削除するとMOTAは-1.80%に低下するが、ペア精度は99.99%に上昇し、最適化におけるトレードオフが明らかになった。
• 検出器の重みを固定した場合、MOTAは10.94%、ペア精度は99.43%に上昇し、検出器のファインチューニングがトラッキングの頑健性向上に寄与することが示された。
• 誤差解析の結果、部分ラベル付けと運動モデルの欠如が、特にマルチカメラ環境下で誤検出やトラッキングエラーを引き起こす要因であることが判明した。