[論文レビュー] Embracing Consistency: A One-Stage Approach for Spatio-Temporal Video Grounding

Yang Jin, Yongzhi Li+2 more|arXiv (Cornell University)|Sep 27, 2022

Multimodal Machine Learning Applications被引用数 15

ひとこと要約

本論文は、特徴の整合性と予測の一貫性を向上させるために、一貫性を意識した目的関数としてのグローバルなマルチモodalテンプレートを導入することで、特徴の整合性と予測の一貫性を是正する、1段階的でエンドツーエンドのトランスフォーマーフレームワークであるSTCATを提案する。本手法は、統合されたビデオ・テキストモデリングと時間的相互作用層を備えたエンコーダ・デコーダアーキテクチャを採用し、VidSTGおよびHC-STVGベンチマークでSOTA性能を達成し、それぞれm_vIoUで33.14%および30.09%の向上を達成した。

ABSTRACT

Spatio-Temporal video grounding (STVG) focuses on retrieving the spatio-temporal tube of a specific object depicted by a free-form textual expression. Existing approaches mainly treat this complicated task as a parallel frame-grounding problem and thus suffer from two types of inconsistency drawbacks: feature alignment inconsistency and prediction inconsistency. In this paper, we present an end-to-end one-stage framework, termed Spatio-Temporal Consistency-Aware Transformer (STCAT), to alleviate these issues. Specially, we introduce a novel multi-modal template as the global objective to address this task, which explicitly constricts the grounding region and associates the predictions among all video frames. Moreover, to generate the above template under sufficient video-textual perception, an encoder-decoder architecture is proposed for effective global context modeling. Thanks to these critical designs, STCAT enjoys more consistent cross-modal feature alignment and tube prediction without reliance on any pre-trained object detectors. Extensive experiments show that our method outperforms previous state-of-the-arts with clear margins on two challenging video benchmarks (VidSTG and HC-STVG), illustrating the superiority of the proposed framework to better understanding the association between vision and natural language. Code is publicly available at https://github.com/jy0205/STCAT.

研究の動機と目的

• 既存の2段階および1段階のSTVG手法における一貫性の欠如、特にフレーム間での特徴の整合性と予測の一貫性の問題を是正すること。
• 事前学習済みオブジェクト検出器に依存しないエンドツーエンド学習を可能にし、グローバルなビデオ・テキスト文脈を活用すること。
• 統一的で学習可能なマルチモーダルテンプレートを用いることで時間的整合性をモデリングし、グラウディング精度を向上させること。
• 統合されたエンコーダ・デコーダフレームワーク内でグローバルなビデオおよびテキスト表現を統合することで、クロスマodalの整合性を強化すること。

提案手法

• フレームごとの位置項と共有コンテンツ項を組み合わせた、グローバルな目的関数としての新規マルチモーダルテンプレートを導入し、フレーム間で一貫した予測を促進する。
• 長距離のビデオ・テキスト相互作用をモデリングするため、クロスマodalな空間時間的エンコーダを備えたエンコーダ・デコーダトランスフォーマアーキテクチャを採用する。
• エンコーダに時間的相互作用層を統合し、グローバルなビデオコンテキストを統合することで、特徴の整合性を向上させる。
• デコーダに学習可能なクエリメカニズムを採用し、グローバルテンプレートをコンテンツクエリ、ローカルテンプレートを位置クエリとして用い、フレーム単位のグラウディングを実現する。
• オブジェクト検出器を必要とせず、生動画とテキストから直接空間時間的チューブを回帰するエンドツーエンド学習パラダイムを採用する。
• 予測が時間的に意味的に一貫するように保証するため、ビデオレベルのクロスアテンションを活用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、フレーム間での一貫性のある特徴の整合性を確保することで、空間時間的ビデオグラウディングを向上させられるか？
• RQ2 統一的で学習可能なテンプレートメカニズムは、1段階STVGモデルにおける予測の一貫性を低下させることができるか？
• RQ3 事前学習済みオブジェクト検出器に依存せずに、グローバルなビデオコンテキストをモデリングすることで、グラウディング性能がどの程度向上するか？
• RQ4 グローバルおよびローカルテンプレートの統合は、チューブ予測のロバスト性と精度にどのように影響を与えるか？

主な発見

• STCATはVidSTGベンチマークで33.14%のm_vIoUという、SOTAを大きく上回る新たなSOTAを達成した。
• より困難なHC-STVGベンチマークでは、30.09%のm_vIoUを達成し、前回SOTAの23.50%を著しく上回った。
• アブレーションスタディの結果、グローバルおよびローカルテンプレートメカニズムの両方が不可欠であることが確認され、特にローカルテンプレートが性能向上に寄与（+1.64% m_vIoU）していた。
• 時間的相互作用層を削除すると、性能が著しく低下（31.12% m_vIoU vs. 33.14%）し、グローバルコンテキストモデリングにおけるその役割が裏付けられた。
• 定性的な結果から、STCATは特に長距離で複雑な動画シナリオにおいて、STVGBertよりも正確で一貫性のある空間時間的チューブを生成することがわかった。
• グローバルコンテキスト認識と一貫性メカニズムのおかげで、複数の候補が存在する状況でも正しく対象インスタンスを局所化できた。