[論文レビュー] Human-centric Spatio-Temporal Video Grounding With Visual Transformers

Zongheng Tang, Yue Liao+6 more|arXiv (Cornell University)|Nov 10, 2020

Multimodal Machine Learning Applications参考文献 44被引用数 14

ひとこと要約

本論文は、自然言語クエリを用いて、非トリムド動画内での特定の人物の空間的・時間的チューブを局所化する、新しいタスクであるヒューマンセントリック スペイシャル・タイムリー動画グランドイング（HC-STVG）を導入する。著者らは、視覚トランスフォーマーをベースにしたSTGVTを提案し、マルチモーダルな動画-文表現を統合的にモデリングするとともに、チューブトリミングモジュールを採用することで、5,660組の動画-文ペアを含む新しいHC-STVGデータセットにおいて、最先端の性能を達成した。

ABSTRACT

In this work, we introduce a novel task - Humancentric Spatio-Temporal Video Grounding (HC-STVG). Unlike the existing referring expression tasks in images or videos, by focusing on humans, HC-STVG aims to localize a spatiotemporal tube of the target person from an untrimmed video based on a given textural description. This task is useful, especially for healthcare and security-related applications, where the surveillance videos can be extremely long but only a specific person during a specific period of time is concerned. HC-STVG is a video grounding task that requires both spatial (where) and temporal (when) localization. Unfortunately, the existing grounding methods cannot handle this task well. We tackle this task by proposing an effective baseline method named Spatio-Temporal Grounding with Visual Transformers (STGVT), which utilizes Visual Transformers to extract cross-modal representations for video-sentence matching and temporal localization. To facilitate this task, we also contribute an HC-STVG dataset consisting of 5,660 video-sentence pairs on complex multi-person scenes. Specifically, each video lasts for 20 seconds, pairing with a natural query sentence with an average of 17.25 words. Extensive experiments are conducted on this dataset, demonstrating the newly-proposed method outperforms the existing baseline methods.

研究の動機と目的

• 長時間で非トリムドな動画において、人物を空間的および時間的に同時に局所化できる動画グランドイング手法の不足に応えること。
• ヒューマンセントリックな動画グランドイングのための、豊富な空間的・時間的アノテーションを備えた新しいベンチマークデータセットを構築すること。
• 複雑な多人数シーンにおいて、視覚的および言語的モダリティの間で細粒度の推論が可能な、堅牢でエンドツーエンドの手法を開発すること。
• 視覚トランスフォーマーが、統合的な動画-文一致と時間的グランドイングのための長距離依存性をモデル化する有効性を実証すること。

提案手法

• STGVTを提案する。2段階のフレームワークで構成される：最初にチューブ記述マッチングモジュールでチューブ候補を生成し、次にチューブトリミングモジュールでそれを精緻化する。
• 動画フレームからの高レベルの視覚的特徴を抽出するために、Conceptual Captionsで事前学習された視覚トランスフォーマーバックボーンを採用する。
• 言語的記述とスパティオトランスポートチューブを対応付けるために、テキストクエリ埋め込みと視覚的特徴の間でクロスアテンション機構を用いる。
• 初期予測を、時間的整合性と視覚的関連性に基づいて開始フレームおよび終了フレームを予測することで、改善するチューブトリミングモジュールを導入する。
• 空間的および時間的次元にわたり、テキストクエリと視覚的トークンの間の相互作用をモデル化するために、マルチヘッドクロスアテンション機構を活用する。
• 事前学習段階で対照的学習戦略を採用し、動画とテキストの表現間の整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚トランスフォーマーをベースにしたモデルは、長時間で非トリムドな動画内において、特定の人物を空間的および時間的に効果的に局所化できるか？
• RQ2 チューブトリミングモジュールの統合は、原始的なチューブ予測に比べて、時間的グランドイングの正確性をどの程度向上させるか？
• RQ3 大規模なキャプション付きデータで事前学習することで、HC-STVGタスクにおける性能はどの程度向上するか？
• RQ4 本手法は、複雑な多人数シーンにおける既存の動画グランドイングベースラインと比較して、どのように優れているか？

主な発見

• 提案されたSTGVT手法は、HC-STVGデータセットにおいて平均vIoUが16.93%を達成し、WSSTGベースライン（12.96%）を顕著に上回った。
• チューブトリミングモジュールは、トリミングなしバージョンに比べてm_vIoUで3.78%の向上を示し、時間的境界の精緻化における有効性を裏付けた。
• 事前学習を施した手法は34.71%のm_tIoUを達成し、ランダムベースライン（0.71%）およびTALLや2D-TANといった既存手法を上回った。
• アブレーションスタディの結果、チューブ記述マッチングモジュールとトリミングモジュールの両方が性能向上に寄与していることが確認され、特に後者が最大の向上を示した。
• 定性的な結果では、STGVTは多くの例において、TALL+WSSTGベースラインに比べてより正確な空間的バウンディングボックスと優れた時間的整合性を生成した。
• 複数の評価指標およびデータセット分割において一貫した性能向上が得られたことから、本手法はさまざまな動画セグメントに良好に一般化していることが示された。