[論文レビュー] You Can Ground Earlier than See: An Effective and Efficient Pipeline for Temporal Sentence Grounding in Compressed Videos

Xiang Fang, Daizong Liu+2 more|arXiv (Cornell University)|Mar 14, 2023

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本稿では、完全な復元を伴わずに、Iフレーム、動きベクトル、残差特徴を用いて圧縮ビデオビットストリームを直接処理する新規な圧縮ドメイン時間的文脈検出フレームワーク、TCSFを提案する。この手法は、計算複雑性を著しく低減しつつ、3つのベンチマークデータセットで最先端の性能を達成する。

ABSTRACT

Given an untrimmed video, temporal sentence grounding (TSG) aims to locate a target moment semantically according to a sentence query. Although previous respectable works have made decent success, they only focus on high-level visual features extracted from the consecutive decoded frames and fail to handle the compressed videos for query modelling, suffering from insufficient representation capability and significant computational complexity during training and testing. In this paper, we pose a new setting, compressed-domain TSG, which directly utilizes compressed videos rather than fully-decompressed frames as the visual input. To handle the raw video bit-stream input, we propose a novel Three-branch Compressed-domain Spatial-temporal Fusion (TCSF) framework, which extracts and aggregates three kinds of low-level visual features (I-frame, motion vector and residual features) for effective and efficient grounding. Particularly, instead of encoding the whole decoded frames like previous works, we capture the appearance representation by only learning the I-frame feature to reduce delay or latency. Besides, we explore the motion information not only by learning the motion vector feature, but also by exploring the relations of neighboring frames via the residual feature. In this way, a three-branch spatial-temporal attention layer with an adaptive motion-appearance fusion module is further designed to extract and aggregate both appearance and motion information for the final grounding. Experiments on three challenging datasets shows that our TCSF achieves better performance than other state-of-the-art methods with lower complexity.

研究の動機と目的

• 完全なビデオ復元を必要とする従来の時間的文脈検出（TSG）手法の非効率さと高い計算コストを解消すること。
• モデルが復元済みフレームの代わりに圧縮ビデオビットストリームを直接処理する新しい実用的設定—圧縮ドメインTSG—を検討すること。
• 外見、動き、残差の低レベル特徴を活用した、軽量で効率的かつ効果的なフレームワークを開発し、テキストクエリとビデオセグメント間のクロスモodalなアライメントを正確に実現すること。
• 完全教師ありおよび弱教師ありベースラインと比較して、精度を維持または向上させつつ、遅延とストレージのオーバーヘッドを低減すること。

提案手法

• 圧縮ビデオGOPからIフレームの外見特徴、動きベクトルの動き特徴、残差差分特徴の3種類の低レベル特徴を抽出・統合する、3本のブランチからなる圧縮ドメイン空間時間統合（TCSF）フレームワークを提案する。
• 遅延を最小限に抑えるために、外見表現にIフレーム特徴のみを用い、完全なフレーム復号を回避する。
• 外見と動き表現からの空間的に局所化され、時間的に一貫性のある特徴を統合的にモデル化するため、3本のブランチの空間時間アテンションモジュールを設計する。
• クエリ文脈に基づいて外見特徴と動き特徴の重要度を動的にバランス調整する、アダプティブな動き-外見統合モジュールを導入する。
• 完全な復元を必要とせず、フルフレームの文脈を豊かにするための擬似特徴生成（PFG）モジュールを採用する。
• クエリガイドド特徴強化と残差ガイドド統合を、アダプティブ統合モジュール内で活用し、テキストクエリと視覚的コンテンツ間のアライメントを向上させる。

実験結果

リサーチクエスチョン

• RQ1 完全なフレーム復元を伴わず、圧縮ビデオビットストリームから直接効果的な時間的文脈検出を達成できるか？
• RQ2 Iフレーム、動きベクトル、残差といった低レベルの圧縮ドメイン特徴を効果的に統合することで、検出のための動画コンテンツをどのようにモデル化できるか？
• RQ3 圧縮ドメインにおいて、外見、動き、残差特徴の相対的な寄与度は何か？
• RQ4 完全なフレーム復号を回避することで、計算複雑性を低減しつつ、最先端の精度を達成できるか？
• RQ5 空間時間アテンションやアダプティブ統合といったアーキテクチャ的要素は、圧縮ドメインにおける検出性能をどのように向上させるか？

主な発見

• TCSFフレームワークは、ActivityNet Captions、Charades-STA、TACoSの3つのベンチマークデータセットで、従来の完全教師ありおよび弱教師あり手法を上回る最先端の性能を達成した。
• ActivityNet Captionsでは、R@1が66.87%（IoU=0.3）かつ48.38%（IoU=0.5）を達成し、以前のSOTA手法を上回った。
• アブレーションスタディの結果、擬似特徴生成、3本のブランチアテンション、アダプティブな動き-外見統合の各モジュールが性能向上に顕著な寄与をしていることが確認された。
• Iフレーム特徴のみを用いる場合に比べ、動きベクトルと残差特徴を併用することで、R@1（IoU=0.3）が2.5%向上した。
• 最適なハイパーパrameterは、時間的アテンション窓のK=7、および検出ヘッドにおける損失バランスのためのα=0.8であり、これが最高の全体的性能をもたらした。
• 完全なフレーム復号を回避することで、計算複雑性と遅延を低減しながらも、高い精度を維持した。実世界の展開において、効率性と実用性を示した。