[論文レビュー] Integrated Object Detection and Tracking with Tracklet-Conditioned Detection

Zheng Zhang, Dazhi Cheng+3 more|arXiv (Cornell University)|Nov 27, 2018

Video Surveillance and Tracking Methods参考文献 50被引用数 49

ひとこと要約

本論文は現在のフレームの検出を前方のトラックレットに条件づけることにより物体検出と追跡を密接に結合し、最先端の結果と動画ベンチマークでの追跡の安定性を向上させます。

ABSTRACT

Accurate detection and tracking of objects is vital for effective video understanding. In previous work, the two tasks have been combined in a way that tracking is based heavily on detection, but the detection benefits marginally from the tracking. To increase synergy, we propose to more tightly integrate the tasks by conditioning the object detection in the current frame on tracklets computed in prior frames. With this approach, the object detection results not only have high detection responses, but also improved coherence with the existing tracklets. This greater coherence leads to estimated object trajectories that are smoother and more stable than the jittered paths obtained without tracklet-conditioned detection. Over extensive experiments, this approach is shown to achieve state-of-the-art performance in terms of both detection and tracking accuracy, as well as noticeable improvements in tracking stability.

研究の動機と目的

• 動画理解における検出と追跡のより厳密な統合の必要性を動機づける。
• 前方のトラックレットを利用して現在フレームの検出に影響を与えるトラックレット条件付き検出フレームワークを開発する。
• 初期統合が従来の後期統合手法よりも検出精度と追跡安定性の両方を改善することを示す。

提案手法

• P(c|b^t_i, {d^{t-1}_j}) を各フレームの検出スコアとトラックレットベースの手掛かりを組み合わせるトラックレット条件付き検出定式化を定義する。
• トラックレット履歴から P_tr(c|d^{t-1}_j) を計算し、時間とともに tracklet embeddings E_s2(d^t) を更新する。
• 埋め込み特徴のコサイン類似度を用いてアソシエーション重み w(b^t_i, d^{t-1}_j) を確立し、フレーム間のラベリングを誘導する。
• 2段階の Faster R-CNN 検出器に本アプローチを統合し、第一段階(RPN)と第二段階(Fast R-CNN)の両方でトラックレット条件付けを適用する。
• フレーム t-1 の検出とフレーム t のグラウンドトゥルースを結ぶ共同検出・追跡損失で訓練し、検出と追跡の両方を最適化する。
• 新規オブジェクト向けの擬似トラックレットを用いた二部最適化アソシエーション（ハンガリアン法）と、必要に応じた伝播・リスコア処理を採用する。

実験結果

リサーチクエスチョン

• RQ1 前のフレームからのトラックレット情報は、 appearance のみを超える per-frame の検出スコアを改善できるか。
• RQ2 検出と追跡の初期統合（トラックレット条件付き統合）は、検出後に結果を結合する遅い統合手法よりも優れているか。
• RQ3 ビデオ系列全体での検出精度と追跡安定性の両方に対する共同訓練の影響はどうなるか。
• RQ4 異なる構成要素（第一段階 vs 第二段階の条件付け）が全体の性能にどう寄与するか。

主な発見

• ImageNet VID における検出 (mAP_det) と追跡 (mAP_track) の両方で最先端の指標を達成。
• 両段階でトラックレット条件付き検出を統合したアプローチは総合 mAP が最も高く、検出 78.1%、追跡 67.9% が検証セットで得られる。
• 早期の統合は追跡の安定性を改善し、後期統合のベースラインよりも滑らかな軌道を生む。
• この手法は逐次的な検出と追跡のベースラインより顕著な向上を示し、検出と既存のトラックレット間の一貫性を向上させる。
• MOT 2015 では統合検出器を動画追跡用にファインチューニングし、安定性の向上を伴う競争力のある結果を示す（論文の実験で報告）。