[論文レビュー] DeepMOT: A Differentiable Framework for Training Multiple Object Trackers

Yihong Xu, Yutong Ban+2 more|arXiv (Cornell University)|Jun 15, 2019

Video Surveillance and Tracking Methods参考文献 27被引用数 29

ひとこと要約

本稿では、Deep Hungarian Net (DHN) モジュールを用いて MOTA および MOTP の微分可能代理指標を導入することにより、深層マルチオブジェクトトラッカーのエンドツーエンド学習を可能にする微分可能フレームワーク、DeepMOT を提案する。本手法はトラッカー性能を向上させ、MOTChallenge ベンチマークにおいて新たな最先端の成績を樹立した。

ABSTRACT

The recent trend in vision-based multi-object tracking (MOT) is heading towards leveraging the representational power of deep learning to jointly learn to detect and track objects. However, existing methods train only certain sub-modules using loss functions that often do not correlate with established tracking evaluation measures such as Multi-Object Tracking Accuracy (MOTA) and Precision (MOTP). As these measures are not differentiable, the choice of appropriate loss functions for end-to-end training of multi-object tracking methods is still an open research problem. In this paper, we bridge this gap by proposing a differentiable proxy of MOTA and MOTP, which we combine in a loss function suitable for end-to-end training of deep multi-object trackers. As a key ingredient, we propose a Deep Hungarian Net (DHN) module that approximates the Hungarian matching algorithm. DHN allows estimating the correspondence between object tracks and ground truth objects to compute differentiable proxies of MOTA and MOTP, which are in turn used to optimize deep trackers directly. We experimentally demonstrate that the proposed differentiable framework improves the performance of existing multi-object trackers, and we establish a new state of the art on the MOTChallenge benchmark. Our code is publicly available from this https URL.

研究の動機と目的

• MOTA や MOTP のような標準的なトラッキング評価指標と相関しない損失関数によるマルチオブジェクトトラッカーの学習という課題に対処すること。
• 非微分可能なトラッキング指標とディープラーニング最適化のギャップを埋めるために、MOTA および MOTP の微分可能代理指標を構築すること。
• 実際のトラッキングパフォーマンスに基づいた損失関数を用いて、深層マルチオブジェクトトラッカーのエンドツーエンド学習を可能にすること。
• トラックと真値オブジェクト間の対応関係推定のためのハンガリアンマッチングアルゴリズムの微分可能近似を構築すること。

提案手法

• 学習可能なモジュールである Deep Hungarian Net (DHN) を用いてハンガリアンマッチングアルゴリズムを近似することで、MOTA および MOTP の微分可能代理指標を提案する。
• DHN モジュールを用いて、微分可能にトラックから真値オブジェクトへの対応関係を推定し、マッチングプロセスを経由した勾配の流れを可能にする。
• 微分可能な MOTA および MOTP 代理指標を統合した単一の損失関数を構築し、深層マルチオブジェクトトラッカーのエンドツーエンド最適化を実現する。
• 既存のトラッカー・アーキテクチャに微分可能な損失を統合し、検出とトラッキングのコンポONENTを同時に最適化可能にする。
• トレーニング中に微分可能な IoU 計算を用いて、微分可能なトラッキング損失をサポートする。
• バックプロパゲーションを用いて、DHN およびトラッキング損失コンポonent を通じた勾配が流れることを保証し、フルトラッカーのエンドツーエンド学習を実行する。

実験結果

リサーチクエスチョン

• RQ1 MOTA や MOTP のようなマルチオブジェクトトラッキングの標準指標を、エンドツーエンド学習を可能にするために微分可能にできるか？
• RQ2 ハンガリアンマッチングアルゴリズムをどのように微分可能に近似できるか？ これにより、マルチオブジェクトトラッキングにおける勾配ベース最適化が可能になるか？
• RQ3 MOTA および MOTP の微分可能代理指標を損失関数として使用することで、標準ベンチマークにおけるトラッカー性能が向上するか？
• RQ4 提案されたフレームワークは、アーキテクチャの大幅な見直しを伴わずに、既存の深層マルチオブジェクトトラッキングアーキテクチャに統合可能か？

主な発見

• 提案された微分可能フレームワーク、DeepMOT は、標準評価指標に整合した損失関数を用いて、マルチオブジェクトトラッカーのエンドツーエンド学習を可能にした。
• Deep Hungarian Net (DHN) モジュールは、ハンガリアンマッチングアルゴリズムを微分可能に近似し、トラックから真値への対応関係推定に勾配が流れることを実現した。
• 本手法は、MOTChallenge ベンチマークにおいて、既存のマルチオブジェクトトラッカーの性能を向上させ、新たな最先端の成績を達成した。
• 微分可能な MOTA および MOTP 代理指標は、標準的な検出およびトラッキング損失の組み合わせよりも、より効果的な最適化を実現した。