[論文レビュー] Similarity Mapping with Enhanced Siamese Network for Multi-Object Tracking

Minyoung Kim, Stefano Alletto+1 more|arXiv (Cornell University)|Sep 28, 2016

Video Surveillance and Tracking Methods参考文献 18被引用数 23

ひとこと要約

本論文は、外見的特徴と幾何的特徴（IoUおよび面積比）を統合して類似度マッピングを改善する、強化されたシames型ニューラルネットワーク（ESNN）を提案する。エンド・トゥ・エンドで訓練可能なESNNは、MOT16およびKITTIベンチマークで競争力ある精度と高い速度（7.9 Hz）を達成し、最小限のハイパーパrameterで、最新の手法よりも効率性と頑健性に優れ、リアルタイムのADAS応用に適した低遅延を維持する。

ABSTRACT

Multi-object tracking has recently become an important area of computer vision, especially for Advanced Driver Assistance Systems (ADAS). Despite growing attention, achieving high performance tracking is still challenging, with state-of-the- art systems resulting in high complexity with a large number of hyper parameters. In this paper, we focus on reducing overall system complexity and the number hyper parameters that need to be tuned to a specific environment. We introduce a novel tracking system based on similarity mapping by Enhanced Siamese Neural Network (ESNN), which accounts for both appearance and geometric information, and is trainable end-to-end. Our system achieves competitive performance in both speed and accuracy on MOT16 challenge, compared to known state-of-the-art methods.

研究の動機と目的

• 実世界への導入を念頭に、マルチオブジェクトトラッキングにおけるシステムの複雑さとハイパーパrameter数を低減すること。
• シames型ネットワークからの外見的特徴と、IoUや面積比といった幾何的情報を統合することで、トラッキング性能を向上させること。
• 自律走行やADAS応用におけるオンライントラッキングに適した低遅延を維持するエンド・トゥ・エンドで訓練可能なシステムを開発すること。
• 計算コストの高いハンガリアン法を上回る、高速で線形時間のマッチングアルゴリズムを設計すること。

提案手法

• ベースのシames型ネットワークは、マージンパラメータm=3を用いた対照的損失により、画像パッチ上で事前学習され、外見的類似度を学習する。
• ESNNは、オブジェクトのバウンディングボックスのインターセクションオーバーユニオン（IoU）と面積比（Arat）という幾何的特徴を処理する2つの新しいブランチを追加することで、ベースネットワークを拡張する。
• 幾何的特徴は、シames型ネットワークの最終特徴マップと連結され、各オブジェクトペアの統合類似度表現が形成される。
• 本手法では、ESNNの類似度スコアを用いてIDを割り当てる、新しい線形時間マッチングアルゴリズムを提案する。このアルゴリズムは、1回の再評価ステップで反復的に矛盾を解消する。
• システムはエンド・トゥ・エンドで訓練され、最新の手法と公平な比較が可能なように、提供された検出結果を用いたオンライン設定で評価される。
• マッチングアルゴリズムはハンガリアン法のO(n³)の複雑さを回避し、混雑したシーンにおけるスケーラビリティを著しく向上させる。

実験結果

リサーチクエスチョン

• RQ1 シames型ネットワークに外見的特徴と幾何的特徴を統合することで、ハイパーパrameterへの感受性を低下させながらマルチオブジェクトトラッキングの性能を向上させられるか？
• RQ2 混雑したシーンにおいて、提案された線形時間マッチングアルゴリズムはハンガリアン法と比べて速度と精度でどのように差をつけるか？
• RQ3 エンド・トゥ・エンドで訓練されたESNNは、微調整なしに未知のオブジェクトクラス（例：KITTIの車）に一般化できるか？
• RQ4 IoUと面積比の統合が、外見的特徴のみに比べて類似度マッピングにどの程度向上効果をもたらすか？
• RQ5 提案されたシステムは、最小限のハイパーパrameterチューニングで、リアルタイムのADAS応用に適した高いトラッキング速度と精度を達成できるか？

主な発見

• 提案されたESNNベースのトラッカーは、MOT16テストセットでMOTA 35.3％を達成し、速度（7.9 Hz）と低遅延という点で、いくつかの最新手法を上回る。
• KITTIデータセットでは、公開の検出結果を用いて、車両で65.97％のMOTA、歩行者で33.69％のMOTAを達成し、トレーニング時に車両クラスの微調整を一切行わなかった。
• 提案された線形時間マッチングアルゴリズムは、ハンガリアン法（27.7％）よりも高いMOTA（35.3％）を達成し、混雑したシーケンス（例：MOT16-04）では最大2.69倍速い。
• システムは強力な一般化性能を示し、車両クラスの微調整なしにKITTIで競争力ある性能を達成しており、堅牢な特徴学習が可能であることを示している。
• ESNNモデルはハイパーパrameter数を削減し、低遅延を維持するため、自律走行やADASにおけるリアルタイム応用に適している。
• IoUと面積比の特徴統合は類似度マッピングを顕著に改善し、より高いトラッキング精度と誤検出の低減をもたらしている。