[論文レビュー] Object Tracking by Jointly Exploiting Frame and Event Domain

Jiqing Zhang, Xin Yang+4 more|arXiv (Cornell University)|Sep 19, 2021

Video Surveillance and Tracking Methods参考文献 47被引用数 4

ひとこと要約

本論文は、フレームベースカメラの豊富なテクスチャ情報とイベントベースカメラの高ダイナミックレンジおよび時間分解能を統合することで、ロバストな単一オブジェクト追跡のための新規なフレーム・イベント統合フレームワークを提案する。クロスドメインアテンション機構と適応的重み付けを用いることで、最先端の性能を達成し、ベンチマークデータセット上でフレームオンリーSOTA手法よりも成功確率で10.4%、精度確率で11.9%優れている。また、評価のための新規な大規模なFE108データセットを導入した。

ABSTRACT

Inspired by the complementarity between conventional frame-based and bio-inspired event-based cameras, we propose a multi-modal based approach to fuse visual cues from the frame- and event-domain to enhance the single object tracking performance, especially in degraded conditions (e.g., scenes with high dynamic range, low light, and fast-motion objects). The proposed approach can effectively and adaptively combine meaningful information from both domains. Our approach's effectiveness is enforced by a novel designed cross-domain attention schemes, which can effectively enhance features based on self- and cross-domain attention schemes; The adaptiveness is guarded by a specially designed weighting scheme, which can adaptively balance the contribution of the two domains. To exploit event-based visual cues in single-object tracking, we construct a large-scale frame-event-based dataset, which we subsequently employ to train a novel frame-event fusion based model. Extensive experiments show that the proposed approach outperforms state-of-the-art frame-based tracking methods by at least 10.4% and 11.9% in terms of representative success rate and precision rate, respectively. Besides, the effectiveness of each key component of our approach is evidenced by our thorough ablation study.

研究の動機と目的

• 高ダイナミックレンジ、低照度、高速運動といった劣悪な条件下でのフレームベース追跡の限界を解消すること。
• フレームベースカメラとイベントベースカメラの相補的利点を活用し、追跡のロバスト性を向上させること。
• シーンの信頼性に基づいて、両ドメインからの視覚的ヒントを適応的に統合するマルチモーダル統合フレームワークを開発すること。
• 今後のマルチモーダルオブジェクト追跡研究を可能にするために、大規模かつ高周波のフレーム・イベントデータセット（FE108）を構築すること。
• 広範なアブレーションおよびベンチマークを通じて、提案されたアテンションベース統合および適応的重み付け機構の有効性を実証すること。

提案手法

• 非同期なイベントストリームをCNN処理に適した疑似フレームに変換する時間離散化イベント集約法を提案し、精度と効率の最適なトレードオフとして $ n=3 $ の時間スライスを採用する。
• 自己アテンションおよびクロスアテンション機構を併用するクロスドメイン特徴統合モジュール（CDMS）を設計し、フレームドメインとイベントドメインの特徴を統合する。
• イベントストリームにおけるエッジ特徴を強化するエッジ認識ブランチ（EAB）を導入し、オブジェクト境界の検出を向上させる。
• 各シーンにおける信頼性に応じて、フレームとイベント特徴の寄与度を動的に調整する適応的重み付け方式を実装する。
• 新規に構築したFE108データセットを用いてエンドツーエンドのモデルを訓練し、108のシーケンス、1.5時間のデータ、最大40Hz（フレーム）および240Hz（イベント）のアノテーションを含む。
• イベント集約のための学習可能な重み付け機構を最適化し、固定重みベースラインを上回る性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 フレームドメインとイベントドメインの共同利用が、高ダイナミックレンジや高速運動といった困難な条件下で追跡性能を顕著に向上させることができるか？
• RQ2 非同期イベントデータをCNNベースの追跡フレームワークで効果的に変換・統合し、同期的なフレームデータと統合できるか？
• RQ3 クロスドメインアテンション機構が、両ドメインからの相補的ヒントを活用することで、特徴表現をどの程度向上させられるか？
• RQ4 適応的重み付け方式が、シーン固有の信頼性に基づいてフレームとイベントの寄与度を動的にバランスさせることで、ロバスト性をどのように向上させるか？
• RQ5 イベント集約戦略および時間スライスの細かさが、追跡精度と推論速度にどのような影響を及ぼすか？

主な発見

• 提案手法はOTB-100ベンチマークで成功確率88.7%、精度確率84.1%を達成し、最良のフレームオンリーSOTA手法を成功確率で10.4%、精度確率で11.9%上回った。
• アブレーションスタディの結果、クロスドメインマルチスケールアテンションモジュール（CDMS）を除去すると性能低下が最大となり、特徴統合におけるその重要性が明確になった。
• 適応的重み付け方式はロバスト性を顕著に向上させた：フレーム品質が悪いシーンではモデルがイベント特徴に高い重み（例：$ w_e > w_f $）を割り当て、逆にフレーム品質が良い場合は逆に重みを調整した。
• 時間スライス数 $ n=3 $ のイベント集約法が、精度と速度の最良のバランスを達成し、92.4%のRPRと63.4%のRSR、30.1FPSの推論速度を達成した。
• 108のシーケンスと最大240Hzのイベントアノテーション周波数を備えるFE108データセットは、現在までで最大規模かつ最高時間分解能を持つフレーム・イベント追跡データセットである。
• モデルは全8つの困難な視覚例（フレームドメインにテクスチャが欠如しているケースを含む）においても、ターゲットを正常に追跡した。この場合、イベントデータのみが有用な情報を提供した。