[論文レビュー] BiC-Net: Learning Efficient Spatio-Temporal Relation for Text-Video Retrieval

Ning Han, Jingjing Chen+4 more|arXiv (Cornell University)|Oct 29, 2021

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、テキスト-ビデオ検索のための、二重ブランチ型のトランスフォーマー基盤フレームワークであるBiC-Netを提案する。このフレームワークは、動画内のグローバルな時間的特徴と微細な空間時間的関係を同時にモデル化する。局所的な関係にはSpatio-Temporal Residual Transformer (SRT) を、グローバルな文脈にはマルチレイヤーのトランスフォーマーを統合することで、最先端の性能を達成し、計算コストを低く抑えつつ、MSR-VTT 1k-A において最大18.5%のR@10精度向上を達成した。

ABSTRACT

The task of text-video retrieval aims to understand the correspondence between language and vision, has gained increasing attention in recent years. Previous studies either adopt off-the-shelf 2D/3D-CNN and then use average/max pooling to directly capture spatial features with aggregated temporal information as global video embeddings, or introduce graph-based models and expert knowledge to learn local spatial-temporal relations. However, the existing methods have two limitations: 1) The global video representations learn video temporal information in a simple average/max pooling manner and do not fully explore the temporal information between every two frames. 2) The graph-based local video representations are handcrafted, it depends heavily on expert knowledge and empirical feedback, which may not be able to effectively mine the higher-level fine-grained visual relations. These limitations result in their inability to distinguish videos with the same visual components but with different relations. To solve this problem, we propose a novel cross-modal retrieval framework, Bi-Branch Complementary Network (BiC-Net), which modifies transformer architecture to effectively bridge text-video modalities in a complementary manner via combining local spatial-temporal relation and global temporal information. Specifically, local video representations are encoded using multiple transformer blocks and additional residual blocks to learn spatio-temporal relation features, calling the module a Spatio-Temporal Residual transformer (SRT). Meanwhile, Global video representations are encoded using a multi-layer transformer block to learn global temporal features. Finally, we align the spatio-temporal relation and global temporal features with the text feature on two embedding spaces for cross-modal text-video retrieval.

研究の動機と目的

• 既存のテキスト-ビデオ検索モデルが、同一の視覚的コンポーネントを有するが異なる空間時間的関係を持つ動画を区別できないという限界を解消すること。
• 局所的な空間時間的関係をモデル化する際に、手作業で作成されたグラフや単純なプーリングに依存することで、微細な視覚的関係理解が制限される問題を克服すること。
• グローバルな時間的表現と微細な局所的関係特徴を補完する統合フレームワークを構築し、クロスモーダルなアライメントを向上させること。
• 効率的なトランスフォーマー基盤アーキテクチャにより、計算コストを低減しながら高い性能を維持すること。

提案手法

• BiC-Netは二重ブランチアーキテクチャを採用している：一方のブランチは、複数のトランスフォーマー・ブロックに残差接続を組み合わせて、局所的な空間時間的関係特徴を学習する。これをSpatio-Temporal Residual Transformer (SRT) と呼ぶ。
• もう一方のブランチは、動画全体の時間的特徴をエンコードするためのマルチレイヤー・トランスフォーマーを用いる。
• 局所的およびグローバルな動画表現は、それぞれ別々の埋め込み空間でテキスト特徴とアライメントされ、クロスモーダル検索が行われる。
• モデルは自己注意メカニズムを活用して、フレーム間のオブジェクト間の長距離依存関係や関係的キューを捉える。
• SRTモジュールは、残差接続とマルチヘッドアテンションを組み合わせることで、空間的および時間的文脈を保持するように特徴学習を強化する。
• 対照的損失を用いて、テキストと動画の埋め込み間のクロスモーダル類似度を最適化するため、エンド・ツー・エンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 微細な空間時間的関係をモデル化することで、グローバルな動画表現を超えるテキスト-ビデオ検索性能が向上するか？
• RQ2 手作業で作成されたグラフベースの手法と比較して、学習可能なアテンションベースの局所的関係モデル化アプローチは、視覚的相互作用をどれほど効果的に捉えられるか？
• RQ3 局所的関係特徴とグローバルな時間的特徴を組み合わせた二重ブランチアーキテクチャは、単一モダリティのモデルに比べてより優れた検索性能を達成できるか？
• RQ4 提案手法は、既存のトランスフォーマー基盤モデルと比較して、計算コストをどれほど低減しつつ、精度を維持または向上できるか？

主な発見

• BiC-Netは、MSR-VTT 1k-Aのテストセットにおいて、テキストから動画を検索するR@10精度で85.6%を達成し、MMTベースラインと比較して18.5%の向上を示した。
• 1つのトランスフォーマー層を搭載したモデルは、パrameter数が少なく、FLOPsも低いにもかかわらず、DualEncodingを上回る精度と効率性を示した。
• 定性的な結果から、BiC-Netは「カニを切り開く」とか「右目にアイシャドーを塗る」といった複雑で微細な行動を有する動画を正しく検索できており、関係性モデリングを実装しないバージョンは、関連性のある動画と類似したが誤った動画を区別できなかった。
• アテンション可視化の結果、モデルが「男＋カニ」や「女性＋メイクブラシ」のような意味的に関連する領域に注目していることが確認され、関係的キューの有効な学習が行われていることが示された。
• アブレーションスタディの結果、空間時間的関係ブランチを削除すると性能が著しく低下することが判明し、同じコンポーネントでも異なる相互作用を持つ動画を区別するためには不可欠であることが証明された。
• モデルはMSR-VTT、MSVD、YouCook2の3つのベンチマークで強力な汎用性とロバストネスを示しており、優れた一般化性能を有している。