[論文レビュー] Online Multi-Object Tracking with Historical Appearance Matching and Scene Adaptive Detection Filtering

Young-Chul Yoon, Abhijeet Boragule+3 more|arXiv (Cornell University)|May 28, 2018

Video Surveillance and Tracking Methods参考文献 12被引用数 6

ひとこと要約

本論文は、履歴的外観マッチングとシーンに適応する検出フィルタリングを統合することで、IDの一貫性を向上させるオンラインマルチオブジェクトトラッキングフレームワークを提案する。2段階で訓練されたシアンプソンネットワークを用いて外観類似度を強化し、シーンの複雑さに応じて検出のしきい値を動的に調整することで、MOT16、MOT17、2DMOT2015ベンチマークでIDスイッチングを顕著に低減し、MOTAおよびIDF1スコアを向上させた。

ABSTRACT

In this paper, we propose the methods to handle temporal errors during multi-object tracking. Temporal error occurs when objects are occluded or noisy detections appear near the object. In those situations, tracking may fail and various errors like drift or ID-switching occur. It is hard to overcome temporal errors only by using motion and shape information. So, we propose the historical appearance matching method and joint-input siamese network which was trained by 2-step process. It can prevent tracking failures although objects are temporally occluded or last matching information is unreliable. We also provide useful technique to remove noisy detections effectively according to scene condition. Tracking performance, especially identity consistency, is highly improved by attaching our methods.

研究の動機と目的

• 遮蔽やノイズの多い検出による時間的誤差を是正すること。
• 信頼性の高い履歴的外観特徴を活用することで、IDスイッチングとトラッキングドリフトを低減すること。
• シーン固有の状態に応じて信頼度しきい値を適応的に設定することで、検出フィルタリングを改善すること。
• 2段階で訓練されたシアンプソンネットワークを用いて、外観ベースのデータ関連付けを強化すること。
• 一定の検出しきい値に依存せずに、優れたID一貫性を達成すること。

提案手法

• 遮蔽中の曖昧性を解消するために、信頼性の高い過去の外観を保存・取得する履歴的外観マッチング機構を導入する。
• まずCUHK02で、次に2015年の学習データで微調整する2段階のプロセスで訓練された、入力が統合されたシアンプソンネットワークを採用し、外観特徴の学習を向上させる。
• 局所的なシーンの複雑さに応じて信頼度しきい値を動的に設定するシーンに適応する検出フィルタリング戦略を適用し、固定しきい値を置き換える。
• 指数的重み付けを用いて運動、形状、外観の特徴を統合した類似度スコアを算出する：$\Lambda(i,j) = \Lambda^A \Lambda^S \Lambda^M$。
• カルマンフィルタを用いて、運動（位置）と形状（幅、高さ）の両状態を予測し、検出ノイズに対する耐性を高める。
• 合成類似度行列を用いて、ハンガリアンアルゴリズムを用いた二部マッチングを実施し、データ関連付けを実現する。

実験結果

リサーチクエスチョン

• RQ1 履歴的外観マッチングは、オブジェクトの遮蔽時におけるIDスイッチングを低減できるか？
• RQ2 2段階で訓練されたシアンプソンネットワークは、マルチオブジェクトトラッキングにおける外観特徴の一般化を向上させるか？
• RQ3 シーンに適応する検出フィルタリングは、複雑なシーンにおいて固定しきい値の検出フィルタリングを上回る性能を示せるか？
• RQ4 外観、運動、形状の特徴を統合することで、トラッキングの耐性およびIDの一貫性にどのような影響を与えるか？
• RQ5 提案手法は、最先端のトラッカーと比較して、MOTAおよびIDF1指標をどの程度向上させるか？

主な発見

• 履歴的外観マッチング手法は、遮蔽状況下で特に顕著にトラッキング性能を向上させたことが図7(a)で示された。
• 2段階訓練法は、MOT16の学習セットで最高のMOTAを達成し、単一データセットでの学習モデルを上回った。
• $p_d = 0.3$を用いたシーンに適応する検出フィルタリング（SADF）は、固定しきい値ベースラインと比較して誤検出を低減し、IDF1およびIDSw指標を向上させた。
• 2DMOT2015では、Ours(VisBest)がIDF1（41.4）で最高、IDSw（460）で2番目に良く、[10]および[1]と同等のFP/FN数を維持しながらも上回った。
• MOT17では、Ours(SADF)はMOTAが48.3、IDF1が51.1を達成し、LSTMベースのMHT_bLSTMと比較してIDSw（1871 vs. 2069）が低く抑えられ、最先端の性能を達成した。
• アブレーションスタディにより、各構成要素（履歴的外観、2段階訓練、適応フィルタリング）がトラッキング性能の向上に独立して寄与していることが確認された。