[論文レビュー] Trajectory Factory: Tracklet Cleaving and Re-connection by Deep Siamese Bi-GRU for Multiple Object Tracking

Cong Ma, Changshui Yang+5 more|arXiv (Cornell University)|Apr 12, 2018

Video Surveillance and Tracking Methods参考文献 21被引用数 13

ひとこと要約

本稿では、長時間の隠蔽や混雑したシーンにおけるトラッキングの悪化を解消するため、シアンプル・バイディレクショナルGRUを用いたトラックレットベースの複数対象追跡手法を提案する。CNNで抽出した外観特徴とRNNベースの運動モデリングを活用することで、静的カメラのシーケンスにおいてMOTAを48.2%まで向上させ、先行手法を上回る性能を達成した。

ABSTRACT

Multi-Object Tracking (MOT) is a challenging task in the complex scene such as surveillance and autonomous driving. In this paper, we propose a novel tracklet processing method to cleave and re-connect tracklets on crowd or long-term occlusion by Siamese Bi-Gated Recurrent Unit (GRU). The tracklet generation utilizes object features extracted by CNN and RNN to create the high-confidence tracklet candidates in sparse scenario. Due to mis-tracking in the generation process, the tracklets from different objects are split into several sub-tracklets by a bidirectional GRU. After that, a Siamese GRU based tracklet re-connection method is applied to link the sub-tracklets which belong to the same object to form a whole trajectory. In addition, we extract the tracklet images from existing MOT datasets and propose a novel dataset to train our networks. The proposed dataset contains more than 95160 pedestrian images. It has 793 different persons in it. On average, there are 120 images for each person with positions and sizes. Experimental results demonstrate the advantages of our model over the state-of-the-art methods on MOT16.

研究の動機と目的

• 長時間の隠蔽や混雑したシーンにおける複数対象追跡（MOT）の課題に対処し、トラッキングのずれや誤関連が性能を低下させることを改善すること。
• 検出エラーまたは隠蔽による誤追跡トラックレットを検出し、是正することで、軌跡の整合性を向上させること。
• 外観と運動の手がかりに基づき、同じ対象からのサブトラックレットを照合するため、深層シアンプル・バイ-GRUを用いた耐障害性の高いトラックレット再接続機構を開発すること。
• 本手法の訓練と評価に使用するため、793人の個体を含む95,160枚の歩行者画像から構成される新規データセットを構築すること。
• 特に静的カメラのシナリオにおいて、MOT16ベンチマークで最先端の性能を達成すること。

提案手法

• 非最大抑制（NMS）を用いて高信頼度のトラックレット候補を生成し、CNNによる外観特徴とLSTMによる運動特徴を統合する。
• 双方向GRUを用いてトラックレット内の分岐点を検出し、隠蔽による誤追跡が生じた場合に1つのトラックレットを複数のサブトラックレットに切断する。
• サブトラックレットの特徴を比較し、再接続意思決定のための類似度スコアを計算するために、深層シアンプル・バイ-GRUネットワークを用いる。
• ワイド残差ネットワーク（WRN）から抽出した128次元のCNN特徴量を用い、コントラスト損失および検証損失でシアンプルGRUを訓練する。
• 時間的・空間的制約を適用して一致したサブトラックレットを再接続し、その後多項式曲線フィッティングにより軌跡を滑らかにする。
• MOT16、PathTrack、MARSのデータから、95,160枚の歩行者画像と793人の個体を含む新規トレーニングデータセットを抽出および合成する。

実験結果

リサーチクエスチョン

• RQ1 トラックレットの切断は、長時間の隠蔽や混雑したシーンにおける追跡の耐障害性をどのように向上させるか？
• RQ2 シアンプル・バイ-GRUアーキテクチャは、外観と運動特徴に基づき、同一対象からのサブトラックレットを的確に再接続できるか？
• RQ3 既存のMOTアプローチと比較して、提案手法はアイデンティティの入れ替えや断片化をどの程度低減できるか？
• RQ4 MOT16において、静的カメラシーケンスと移動カメラシーケンスの両方で、提案手法の性能はどのように変化するか？
• RQ5 新しく収集されたトラックレット画像データセットは、トラックレット再接続モデルの汎化性能と性能を向上させられるか？

主な発見

• 提案手法はMOT16ベンチマークで48.2%のMOTAを達成し、静的カメラシーケンスにおいて先行する最先端手法を上回った。
• MOT16-01シーケンスでは42.5%のMOTAを達成し、比較されたすべての手法の中で第1位となった。
• モデルはIDF1を向上させ、特に長時間の隠蔽が生じるシーケンスにおいて、アイデンティティの入れ替えや断片化を低減した。
• シアンプル・バイ-GRUモデルは、793人の個体を含む95,160枚の歩行者画像から構成される新規に構築されたデータセットにおいて、優れた汎化性能を示した。
• 本手法は静的カメラシーケンス（例：MOT16-03で56.7%のMOTA）で最も優れた性能を示したが、時間的・空間的制約が不適切なため、移動カメラシーケンスでは性能が低下した。
• 図5の定性的な結果から、本手法は断片化した軌跡を的確に再接続し、混雑したシーンにおける誤検出を低減できていることが示された。