[論文レビュー] Deep Similarity Metric Learning for Real-Time Pedestrian Tracking

Michael Thoreau, Navinda Kottege|arXiv (Cornell University)|Jun 20, 2018

Video Surveillance and Tracking Methods参考文献 29被引用数 5

ひとこと要約

本稿では、事前学習済みの深層類似度メトリックを活用して、検出割り当ての改善、低信頼度検出の強化、アピアランスベースのトラックレット連携を可能にするシアンプス深層メトリックトラッカーを提案する。この手法は、MOT16におけるオンラインリアルタイムトラッカーの中で最も少ないIDスイッチ（317）を記録し、MOTA（34.6）を達成しており、深層アピアランスモデリングが遮蔽時のトラッキング誤りを顕著に低減し、耐障害性を向上させることを示している。

ABSTRACT

Tracking by detection is a common approach to solving the Multiple Object Tracking problem. In this paper we show how learning a deep similarity metric can improve three key aspects of pedestrian tracking on a multiple object tracking benchmark. We train a convolutional neural network to learn an embedding function in a Siamese configuration on a large person re-identification dataset. The offline-trained embedding network is integrated in to the tracking formulation to improve performance while retaining real-time performance. The proposed tracker stores appearance metrics while detections are strong, using this appearance information to: prevent ID switches, associate tracklets through occlusion, and propose new detections where detector confidence is low. This method achieves competitive results in evaluation, especially among online, real-time approaches. We present an ablative study showing the impact of each of the three uses of our deep appearance metric.

研究の動機と目的

• 深層アピアランスモデリングを用いて、リアルタイムで動作するオンラインの複数対象追跡（MOT）を、歩行者追跡に改善すること。
• 学習済みの深層類似度メトリックを用いて、MOTの主な課題（IDスイッチ、誤検出、トラックレットの断片化）に対処すること。
• リアルタイム性能（≥25 FPS）を維持しつつ、アピアランスベースの連携と検出強化により、追跡精度を向上させること。
• 検出割り当て、検出強化、トラックレット連携の3つの要素が、それぞれどのように全体の追跡性能に寄与するかをアブレーション解析を用いて評価すること。

提案手法

• 大規模な人物再識別データセット上で、歩行者の外見を特徴付ける識別性の高い埋め込み空間を学習するため、シアンプス畳み込みニューラルネットワークを訓練する。
• 事前学習済みの埋め込みネットワークが、検出結果とトラックレットの深層アピアランス特徴を計算し、各フレームごとに再訓練なしに類似度を計算可能にする。
• 検出割り当ては、学習済みメトリックを用いて、外見の類似度に基づいて検出を既存のトラックに紐付ける。これにより、誤検出の低減が可能になる。
• 検出強化は、ターゲットが部分的に可視であるか一時的に見えなくなる場合に、メトリックを用いて再識別し、再び検出結果に含める。
• トラックレット連携は、外見の類似度を用いて反復的にトラックレットを統合し、遮蔽時において特に効果的で、より長く一貫性のある軌道を形成する。
• トラッカーはオンラインで動作し、数秒の再生遅延しか発生させない。MOT16では29.8 FPSのリアルタイム性能を維持している。

実験結果

リサーチクエスチョン

• RQ1 再識別データから学習した深層類似度メトリックは、オンラインMOTにおける検出割り当てを改善できるか？
• RQ2 アピアランスベースの検出強化は、誤検出を増加させることなく、歩行者追跡における誤検出（ファルスネガティブ）を低減できるか？
• RQ3 遮蔽時におけるIDスイッチの低減に、アピアランスベースのトラックレット連携はどの程度寄与するか？
• RQ4 割り当て、強化、連携の3つの要素が、それぞれ全体の追跡性能にどのように独立して寄与するか？

主な発見

• 提案されたトラッカーは、MOT16テストセットでMOTA 34.6を達成し、オンラインリアルタイム手法の中でも競争力のある性能を示した。
• 本手法は、IDスイッチ数が最も少なく（317）、遮蔽時における一貫性のあるトラックIDの維持に優れた性能を示した。
• アブレーション解析の結果、トラックレット連携がIDスイッチの低減に最も寄与しており、次に検出割り当ての寄与が大きかった。
• 検出強化は、誤検出数を6,014から6,743に増加させたが、誤検出数の低減に成功しており、低精度のDPM検出の特性によるトレードオフが示された。
• アピアランスモデリングを完全に削除した場合、フレームレートは96.8 FPSに上昇したが、MOTAは32.9に低下し、深層アピアランス特徴の価値が確認された。
• 深層メトリックネットワークはMarket-1501でAUC 0.98を達成し、識別性の高いアピアランス表現の学習能力が裏付けられた。