[論文レビュー] Visual Spatio-temporal Relation-enhanced Network for Cross-modal Text-Video Retrieval

Ning Han, Jingjing Chen+4 more|arXiv (Cornell University)|Oct 29, 2021

Multimodal Machine Learning Applications参考文献 37被引用数 4

ひとこと要約

本論文では、視覚的コンponents間の空間的・時間的関係をマルチレイヤー空間時間トランスフォーマーを用いてモデル化することで、ビデオ表現を向上させる視覚的空間時間的関係強化ネットワーク、VSR-Netを提案する。この手法は関係情報でグローバルなビデオ特徴を強化し、2つの別々の埋め込み空間でテキスト埋め込みとアライメントすることで、MSR-VTTおよびMSVDデータセットで最先端の性能を達成する。

ABSTRACT

The task of cross-modal retrieval between texts and videos aims to understand the correspondence between vision and language. Existing studies follow a trend of measuring text-video similarity on the basis of textual and video embeddings. In common practice, video representation is constructed by feeding video frames into 2D/3D-CNN for global visual feature extraction or only learning simple semantic relations by using local-level fine-grained frame regions via graph convolutional network. However, these video representations do not fully exploit spatio-temporal relation among visual components in learning video representations, resulting in their inability to distinguish videos with the same visual components but with different relations. To solve this problem, we propose a Visual Spatio-Temporal Relation-Enhanced Network (VSR-Net), a novel cross-modal retrieval framework that considers the spatial-temporal visual relations among components to enhance global video representation in bridging text-video modalities. Specifically, visual spatio-temporal relations are encoded using a multi-layer spatio-temporal transformer to learn visual relational features. We align the global visual and fine-grained relational features with the text feature on two embedding spaces for cross-modal text-video retrieval. Extensive experimental are conducted on both MSR-VTT and MSVD datasets. The results demonstrate the effectiveness of our proposed model. We will release the code to facilitate future researches.

研究の動機と目的

• ビデオ内の視覚的コンponents間の複雑な空間時間的関係を捉えることが、従来のクロスモーダル検索手法に限界があること。
• グローバル特徴や単純な局所的関係を超えて、視覚的領域間の空間的および時間的関係を明示的にモデル化することで、ビデオ表現を向上させること。
• 2つの別々の埋め込み空間でグローバル視覚的特徴と詳細な関係特徴をテキストと統合することで、テキストとビデオのクロスモーダルアライメントを強化すること。
• 同一のコンponentsを有するが空間時間的配置が異なるビデオを区別できる構造的視覚的関係を活用することで、テキスト-ビデオ検索性能を向上させること。

提案手法

• マルチレイヤー空間時間トランスフォーマーを用いて、局所フレーム領域間の視覚的空間時間的関係を符号化し、空間的・時間的両方の長距離依存関係を捉える。
• モデルは、複数のビデオフレームに跨る空間的および時間的関係を持つ視覚的コンponentsに注目することで、視覚的関係特徴を学習する。
• グローバル視覚的埋め込みは2D/3D-CNNを介して抽出され、関係特徴は空間時間トランスフォーマーから導出され、表現を豊かにする。
• 2つの別々の埋め込み空間を用いる：1つはグローバル視覚的特徴とテキストをアライメントするため、もう1つは詳細な関係特徴とテキストをアライメントするため。
• クロスモーダル検索は、両方の空間でテキストとビデオ埋め込み間の類似度スコアを計算し、その後特徴を統合することで実行される。
• フレームワークは、テキスト-ビデオアライメントを最適化するためにコントラスト損失を用いてエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 視覚的コンponents間の空間時間的関係をモデル化することは、クロスモーダル検索のためのビデオ表現を向上させることができるか？
• RQ2 グローバルビデオ特徴と関係特徴を統合することで、テキスト-ビデオ検索性能にどのような影響を与えるか？
• RQ3 マルチレイヤー空間時間トランスフォーマーを用いることで、標準的な2D/3D-CNNやグラフベースの手法と比較して、視覚的コンponents間の相互作用をより良くモデル化できるか？
• RQ4 グローバル特徴と関係特徴の2つの埋め込み空間でのアライメントは、単一空間でのアライメントを上回る性能を発揮するか？
• RQ5 VSR-Netは、MSR-VTTおよびMSVDなどの標準ベンチマークで、多様なビデオ理解タスクにどのように一般化するか？

主な発見

• VSR-Netは、MSR-VTTおよびMSVDデータセットの両方で最先端の性能を達成し、優れた検索精度を示した。
• 空間時間的関係特徴の統合により、視覚的コンponentsは類似しているが空間時間的配置が異なるビデオをより明確に区別できるようになり、ビデオ表現が顕著に向上した。
• マルチレイヤー空間時間トランスフォーマーは、フレームおよび視覚的領域に跨る長距離依存関係を効果的に捉えており、特徴の表現力を高めた。
• グローバル特徴と関係特徴の2つの埋め込み空間でのアライメントは、単一空間でのアライメントよりもより強固なクロスモーダルマッチングを実現した。
• 本モデルは、多様なビデオ記述にうまく一般化し、両方の検索指標およびゼロショット転送設定において、ベースライン手法を一貫して上回る改善を達成した。