[論文レビュー] CityFlow-NL: Tracking and Retrieval of Vehicles at City Scale by Natural Language Descriptions

Qi Feng, Vitaly Ablavsky+1 more|arXiv (Cornell University)|Jan 12, 2021

Human Mobility and Location-Based Analysis参考文献 39被引用数 27

ひとこと要約

CityFlow-NL は自然言語説明を用いた都市スケールの多ターゲット多カメラ追跡ベンチマークを導入し、リトリーバルと追跡のベースラインと新しいワンショットNL対応トラッカー（VTN）を提供します。

ABSTRACT

Natural Language (NL) descriptions can be one of the most convenient or the only way to interact with systems built to understand and detect city scale traffic patterns and vehicle-related events. In this paper, we extend the widely adopted CityFlow Benchmark with NL descriptions for vehicle targets and introduce the CityFlow-NL Benchmark. The CityFlow-NL contains more than 5,000 unique and precise NL descriptions of vehicle targets, making it the first multi-target multi-camera tracking with NL descriptions dataset to our knowledge. Moreover, the dataset facilitates research at the intersection of multi-object tracking, retrieval by NL descriptions, and temporal localization of events. In this paper, we focus on two foundational tasks: the Vehicle Retrieval by NL task and the Vehicle Tracking by NL task, which take advantage of the proposed CityFlow-NL benchmark and provide a strong basis for future research on the multi-target multi-camera tracking by NL description task.

研究の動機と目的

• 車両ターゲットに自然言語記述を追加し、MTMC追跡、NLによる取得、時系列イベントの localization を可能にする。
• 2つの基本タスクを定義・評価する：NL記述による車両取得（単一視点）とNL記述による車両追跡（多フレームの定位）。
• NLをガイドとした追跡モデルとベースラインを提供し、NLによるMTMC研究への道を切り開く。

提案手法

• 666台のターゲット車両を40台の較正カメラで5,289件のNL記述にアノテーションしてCityFlow-NLを作成。
• 2つのタスクを提案：NLによる車両取得（単一視点）とNLによる車両追跡（多フレーム定位）。
• NLクエリ（BERT）と車両クロップ（ResNet-50）を埋め込み、取得のための類似度を計算するベースラインのSiamese取得モデルを開発。
• 追跡フレームワークへ拡張：マルチオブジェクト追跡器を用いた先に取得するベースラインのトラック-then-リトリーブ；存在分岐と定位分岐を持つVehicle Tracking Network（VTN）を導入。
• エンドツーエンドのNLガイド追跡のため、NL-RoIヘッドとNL類似度学習をFaster-RCNNベースの定位パイプラインに組み込み。
• 取得の評価指標としてMRR、Recall@K、追跡の評価指標としてIoU閾値でのAUCと正規化精度を用いた評価を実施。

実験結果

リサーチクエスチョン

• RQ1 NL記述は単一視点のビデオで正しい車両トラックをどれくらい良く取得できるか？
• RQ2 NL記述はマルチビュー動画でのターゲットの時間的・空間的定位をサポートできるか？
• RQ3 NLガイドのエンドツーエンドトラッカー（VTN）は都市スケールのMTMCシナリオで、トラック-then-リトリーブのベースラインを上回るか？

主な発見

• CityFlow-NLは初のNLによるMTMCデータセットであり、NL記述数（5,289件）が666ターゲットに対する最大のNL注釈追跡ベンチマーク。
• ベースラインの取得性能は限られた結果（MRR ≈ 0.027、Recall@5 ≈ 0.026、Recall@10 ≈ 0.049、Recall@25 ≈ 0.111）。
• VTN（Vehicle Tracking Network）は、テスト分割でAUCが5.93、正規化精度が3.79と顕著な改善を示し、トラック-then-リトリーブベースラインを上回った。
• VLN NLベースのRoI定位とNLベースの存在スコアリングにより、約20fpsのオンラインエンドツーエンドNLガイド追跡が単一GPUで実現。
• VTNは検出時の早期NL取得によりリコールが高いが、コントラストが強いターゲットが存在するシーンで誤検出が増える場合がある。