[論文レビュー] Single-Stage Visual Query Localization in Egocentric Videos

Hanwen Jiang, Santhosh Kumar Ramakrishnan+1 more|arXiv (Cornell University)|Jun 15, 2023

Advanced Image and Video Retrieval Techniques被引用数 6

ひとこと要約

VQLoCは、ビジョントランスフォーマーベースとクロスアテンションメカニズムを用いて、クエリからフレームおよびフレーム間の空間的・時系列的対応関係を統合的にモデル化することで、エゴセントリック動画における視覚的クエリロケーションのための単一段階的でエンド・ツー・エンドで学習可能なフレームワークを提案する。先行するマルチステージ手法と比較して20%高い精度と10倍の高速な推論を達成し、Ego4D VQ2Dチャレンジのリーダーボードで最上位の成績を記録した。

ABSTRACT

Visual Query Localization on long-form egocentric videos requires spatio-temporal search and localization of visually specified objects and is vital to build episodic memory systems. Prior work develops complex multi-stage pipelines that leverage well-established object detection and tracking methods to perform VQL. However, each stage is independently trained and the complexity of the pipeline results in slow inference speeds. We propose VQLoC, a novel single-stage VQL framework that is end-to-end trainable. Our key idea is to first build a holistic understanding of the query-video relationship and then perform spatio-temporal localization in a single shot manner. Specifically, we establish the query-video relationship by jointly considering query-to-frame correspondences between the query and each video frame and frame-to-frame correspondences between nearby video frames. Our experiments demonstrate that our approach outperforms prior VQL methods by 20% accuracy while obtaining a 10x improvement in inference speed. VQLoC is also the top entry on the Ego4D VQ2D challenge leaderboard. Project page: https://hwjiang1510.github.io/VQLoC/

研究の動機と目的

• 独立的で微分不能な段階に依存するマルチステージの視覚的クエリロケーション（VQL）パイプラインの限界を解消し、遅い推論速度を改善すること。
• オープンセットのオブジェクトクエリ、変動するオブジェクトの外観、複雑な視点、照明、遮蔽を伴う長時間のエゴセントリック動画の課題に立ち向かうこと。
• 全体的なクエリ-動画関係を構築することで、長時間のエゴセントリック動画における視覚的に指定されたオブジェクトの正確かつ効率的な空間的・時系列的ロケーションを実現すること。
• フレームレベルの検出による誤差伝搬を回避し、ペairワイズ比較に起因する冗長な計算を削減するエンド・ツー・エンドで学習可能なシステムを開発すること。

提案手法

• 視覚的クエリおよび各動画フレームから画像特徴を抽出するために、DINOで事前学習されたビジョントランスフォーマー（ViT）バックボーンを用いる。
• クエリと各動画フレーム間の領域対応関係を確立するために、クロスアテンショントランスフォーマーモジュールを用い、クエリからフレームへの対応関係を学習する。
• 近接する動画フレーム間の時系列的連続性を活用することで、時間的にこれらの対応関係を伝搬する。
• 短時間スケールの依存関係をモデル化し、長距離依存性の問題を回避するために、局所的な時系列ウィンドウ（サイズ5）を用いた空間的・時系列的トランスフォーマーブロックを設計する。
• クラスの不均衡を扱うために、アンカーベースの回帰と、BCEにハードネガティブマイニング（HNM）を組み合わせた損失関数を用いた畳み込み予測ヘッドを採用する。
• 時系列および空間的・時系列的ロケーション精度の両方を最適化するマルチタスク損失を用いて、モデル全体をエンド・ツー・エンドで学習する。

実験結果

リサーチクエスチョン

• RQ1 エゴセントリック動画における視覚的クエリロケーションにおいて、複雑なマルチステージパイプラインを上回る単一段階的でエンド・ツー・エンドのフレームワークは可能か？
• RQ2 クエリからフレームおよびフレーム間の対応関係を統合的にモデル化することは、ロケーション精度と推論速度の両面で効果的か？
• RQ3 局所的ウィンドウサイズとアテンションメカニズムの観点から、空間的・時系列的トランスフォーマーモジュールの最適な設計は何か？
• RQ4 損失関数および予測ヘッドのアーキテクチャの選択は、重度のクラス不均衡の状況下で性能にどのように影響を与えるか？
• RQ5 提案手法は、多様なオブジェクト外観と困難な視覚的条件下での長時間のエゴセントリック動画に一般化可能か？

主な発見

• VQLoCは、先行する最先端手法と比較して20%の相対的な精度向上を達成し、Ego4DベンチマークにおいてtAP@25が0.29、stAP@25が0.19を記録した。
• マルチステージベースラインと比較して、冗長なペアワイズ比較を排除し、ワンショットロケーションを可能にしたことで、推論速度が10倍速くなった。
• 時間的ウィンドウサイズを5（5 FPSで1秒分）に設定した場合が最良の性能を示し、動的で変化の激しいエゴセントリック動画では長距離依存性のためグローバルアテンションが性能を低下させた。
• ハードネガティブマイニング（HNM）はファーカル損失を上回り、ノイズの少ないハードポジティブ例の抽出により、47.05%のリコールと55.89%の成功率を達成した。
• アブレーションスタディの結果、3層の空間トランスフォーマー（X-TX）とViT-S14バックボーン（448×448解像度）が最良のパフォーマンスを示し、リコール38.58%、成功率53.12%を達成した。
• バックボーンのサイズと特徴の解像度にかかわらずモデルの性能が安定しており、ViT-S14（448×448）が精度と計算コストの最良のトレードオフを実現した。