[論文レビュー] Machine Learning Methods for Solving Assignment Problems in Multi-Target Tracking

Patrick Emami, Pãnos M. Pardalos+2 more|arXiv (Cornell University)|Feb 19, 2018

Data Management and Algorithms参考文献 123被引用数 56

ひとこと要約

本調査では、多対象追跡におけるデータおよびトラックの関連付けを、NP困難な組合せ最適化問題のクラスである多次元割り当て問題（MDAP）として定式化することで、機械学習的手法を統一的に扱う。古典的手法およびデータ駆動型手法（深層学習および表現学習を含む）をレビューし、分野における最近の進展とベンチマーク基準を強調する。

ABSTRACT

Data association and track-to-track association, two fundamental problems in single-sensor and multi-sensor multi-target tracking, are instances of an NP-hard combinatorial optimization problem known as the multidimensional assignment problem (MDAP). Over the last few years, data-driven approaches to tackling MDAPs in tracking have become increasingly popular. We argue that viewing multi-target tracking as an assignment problem conceptually unifies the wide variety of machine learning methods that have been proposed for data association and track-to-track association. In this survey, we review recent literature, provide rigorous formulations of the assignment problems encountered in multi-target tracking, and review classic approaches used prior to the shift towards data-driven techniques. Recent attempts at using deep learning to solve NP-hard combinatorial optimization problems, including data association, are discussed as well. We highlight representation learning methods for multi-sensor applications and conclude by providing an overview of current multi-target tracking benchmarks.

研究の動機と目的

• 多対象追跡におけるデータ関連付けおよびトラック間関連付けの多様な機械学習手法を、多次元割り当て問題（MDAP）という共通の枠組みで統一すること。
• 単一センサーおよび複数センサー多対象追跡において生じる割り当て問題の厳密な数学的定式化を提供すること。
• データ駆動型学習アプローチの登場以前に用いられた古典的最適化技術をレビューすること。
• NP困難なMDAPを追跡応用で解くために近年開発された深層学習ベースの手法を分析すること。
• 現在の多対象追跡ベンチマークを要約し、分野における最先端技術の状況を評価すること。

提案手法

• データ関連付けおよびトラック間関連付けを、知られているNP困難な組合せ最適化問題である多次元割り当て問題（MDAP）のインスタンスとして形式化すること。
• データ駆動型学習の登場以前に用いられた伝統的な最適化技術（分枝限定法、オークション法、ハンガリアン法など）を調査すること。
• MDAPに特化した深層学習アーキテクチャをレビューし、微分可能リラクゼーション手法、グラフニューラルネットワーク、エンドツーエンド学習フレームワークを含む。
• センサー間特徴の整合性を高めるために、表現学習技術を用いた複数センサー追跡のための特徴埋め込みとクロスセンサー関連付けに焦点を当てる。
• ニューラルネットワークと古典的最適化ソルバを統合することで、解の品質と効率性を向上させる手法を分析すること。
• 新規手法の性能を評価するために用いられる標準的な多対象追跡ベンチマークの包括的概要を提供すること。

実験結果

リサーチクエスチョン

• RQ1 多対象追跡におけるデータ関連付けおよびトラック間関連付けを、MDAPフレームワークとして形式的に統一することは可能か？
• RQ2 古典的最適化手法は、リアルタイム追跡における大規模MDAPを解く上で、どのような主な制限を有するか？
• RQ3 深層学習ベースのアプローチは、従来の手法と比較して、解の品質とスケーラビリティをどのように向上させるか？
• RQ4 表現学習は、複数センサー間のデータ関連付け性能を向上させるために果たす役割は何か？
• RQ5 現在、最先端の多対象追跡システムを評価するために用いられているベンチマークおよび評価プロトコルは何か？

主な発見

• MDAPフレームワークは、多対象追跡における多様な機械学習手法に一貫性と概念的統一性を提供する基盤を形成する。
• 古典的最適化手法は依然として関連性を有するが、大規模な追跡問題におけるスケーラビリティとリアルタイム性能に課題を抱えている。
• 微分可能リラクゼーションとグラフニューラルネットワークを組み合わせた深層学習ベースのアプローチは、複雑な関連付けタスクにおいて、より高い精度とロバストネスを示している。
• 表現学習は、より効果的なセンサー間特徴の整合性を可能にし、複数センサー追跡性能を顕著に向上させている。
• MOTChallenge や Multi-Object Tracking のためのデータセット といった標準化されたベンチマークは、新規手法の公平かつ再現可能な評価に不可欠である。
• ニューラルネットワークと古典的ソルバを統合することは、高い精度と計算効率の両立に向けて有望な道筋を示している。