[論文レビュー] Revisiting Color-Event based Tracking: A Unified Network, Dataset, and Metric

Chuanming Tang, Xiao Wang+6 more|arXiv (Cornell University)|Nov 20, 2022

Advanced Memory and Neural Computing被引用数 14

ひとこと要約

本論文は、ボクセル化されたイベント表現と共有ビジョンTransformerバックボーンを介してカラーとイベントデータを統合的に処理する統合的でワンステージのトラッキングネットワークであるCEUTrackを提案する。リアルタイム性能（75 FPS以上）を達成し、最先端の精度を実現した。また、90のカテゴリにまたがる1354の動画シーケンスを含む大規模なCOESOTデータセットと、さまざまな難易度レベルでのトラッキングの頑健性をよりよく評価するための新しい指標（BOC）を導入した。

ABSTRACT

Combining the Color and Event cameras (also called Dynamic Vision Sensors, DVS) for robust object tracking is a newly emerging research topic in recent years. Existing color-event tracking framework usually contains multiple scattered modules which may lead to low efficiency and high computational complexity, including feature extraction, fusion, matching, interactive learning, etc. In this paper, we propose a single-stage backbone network for Color-Event Unified Tracking (CEUTrack), which achieves the above functions simultaneously. Given the event points and RGB frames, we first transform the points into voxels and crop the template and search regions for both modalities, respectively. Then, these regions are projected into tokens and parallelly fed into the unified Transformer backbone network. The output features will be fed into a tracking head for target object localization. Our proposed CEUTrack is simple, effective, and efficient, which achieves over 75 FPS and new SOTA performance. To better validate the effectiveness of our model and address the data deficiency of this task, we also propose a generic and large-scale benchmark dataset for color-event tracking, termed COESOT, which contains 90 categories and 1354 video sequences. Additionally, a new evaluation metric named BOC is proposed in our evaluation toolkit to evaluate the prominence with respect to the baseline methods. We hope the newly proposed method, dataset, and evaluation metric provide a better platform for color-event-based tracking. The dataset, toolkit, and source code will be released on: \url{https://github.com/Event-AHU/COESOT}.

研究の動機と目的

• 特徴抽出、統合、マッチングのための別々のモジュールに依存する既存のマルチステージのカラー・イベントトラッキングフレームワークにおける非効率性と高い複雑性を解消すること。
• カラーとイベントの処理を共有バックボーン内で統合するワンステージでエンドツーエンド学習可能なトラッキングネットワークを設計し、効率性と性能を向上させること。
• カラー・イベントトラッキングのための大規模で高品質なベンチマークの不足を解消するため、多様で現実世界のシーケンスを含むCOESOTデータセットを導入すること。
• 標準的なIoUベースの指標を超えて、フレームの難易度とトラッキングの目立たなさを考慮する新しい指標（BOC）を提案し、評価を改善すること。
• 研究を加速するために、コード、データセット、ツールを含む包括的なオープンソースプラットフォームを提供すること。

提案手法

• 処理のための効率性を保つために、生のイベントストリームをボクセル表現に変換し、空間的・時間的ダイナミクスを保持すること。
• 空間的一致性を維持するために、カラー画像とイベントボクセルの両方から、テンプレート領域とサーチ領域のパッチを同期して切り出すこと。
• 切り出した領域を学習可能なトークンに投影し、クロスモダリティ特徴の相互作用を可能にするためのアダプティブアダプタを備えた統合ビジョンTransformerバックボーンに供給すること。
• 統合された特徴表現から直接バウンディングボックスを予測する軽量なトラッキングヘッドを使用すること。
• 推論時の計算負荷を軽減するために、密集したイベントストリームに対応するためのボクセルトップ選択戦略を採用すること。
• フレームの難易度とターゲットの可視性に基づいてトラッキング性能を測定する新しい評価指標BOC（バウンディングボックスの目立たなさ）を導入すること。

実験結果

リサーチクエスチョン

• RQ1 統合的ワンステージネットワークは、マルチステージ統合パイプラインに代わってカラー・イベントトラッキングにおいて効果的に機能し、速度と精度を向上させることができるか？
• RQ2 ボクセル化されたイベント表現は、イベントカウントや再構成などの代替イベントフォーマットと比較して、トラッキング性能と効率性においてどのように異なるか？
• RQ3 提案されたCOESOTデータセットは、既存のベンチマークと比較して、カラー・イベントトラッカーの評価をどの程度向上させるか？
• RQ4 新しいBOC指標は、標準的なIoUベースの指標と比較して、現実世界のトラッキング難易度をよりよく反映しているか？
• RQ5 現在のカラー・イベントトラッカーの主な失敗モードは何か。また、アーキテクチャ的・訓練的改善によってそれらをどのように緩和できるか？

主な発見

• CEUTrackは、標準的なハードウェア上で75 FPS以上の推論速度を達成し、リアルタイム性能を実証した。これは、20 FPS未満で動作する従来の手法と比べて顕著に優れている。
• 提案されたCEUTrackはCOESOTベンチマークにおいて、平均平均精度と困難なシーケンスにおける頑健性の両面で、既存のトラッカーを上回る最先端の性能を達成した。
• COESOTデータセットには、90のカテゴリにまたがる1354の動画シーケンスが含まれており、高速移動、隠蔽、低照度、過露出などの多様な課題をカバーしており、今後の研究のための包括的なベンチマークを提供している。
• 新しいBOC指標は、予測されたバウンディングボックスが他の物体や背景の雑音からどれほど目立つかを測定することで、標準的なIoU指標よりも洗練された評価を可能にした。
• 故障分析の結果、CEUTrackは類似する干渉要因や密集したオブジェクトの状況で困難を示すことが判明した。これは、今後の研究において、干渉要因に対する耐性を高める仕組みの強化が求められることを示唆している。
• データセットには、カウント、再構成、タイムサーフェス、ボクセルの4種類のイベント表現フォーマットに加え、生の.aedat4ファイルも含まれており、柔軟な実験と今後の手法開発を可能にしている。