[論文レビュー] T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval

Xiaohan Wang, Linchao Zhu+1 more|arXiv (Cornell University)|Apr 20, 2021

Multimodal Machine Learning Applications参考文献 42被引用数 11

ひとこと要約

T2VLAD は、共通の意味的センターを活用してテキストと動画特徴を共同で符号化することで、効率的なグローバル・ローカルなシーケンスアラインメント手法を提案する。これにより、細粒度のローカルアラインメントと補完的なグローバル類似度測定が可能となり、追加データなしで MSRVTT で Rank@1 に 2.9% の向上を達成し、最先端の性能を実現した。

ABSTRACT

Text-video retrieval is a challenging task that aims to search relevant video contents based on natural language descriptions. The key to this problem is to measure text-video similarities in a joint embedding space. However, most existing methods only consider the global cross-modal similarity and overlook the local details. Some works incorporate the local comparisons through cross-modal local matching and reasoning. These complex operations introduce tremendous computation. In this paper, we design an efficient global-local alignment method. The multi-modal video sequences and text features are adaptively aggregated with a set of shared semantic centers. The local cross-modal similarities are computed between the video feature and text feature within the same center. This design enables the meticulous local comparison and reduces the computational cost of the interaction between each text-video pair. Moreover, a global alignment method is proposed to provide a global cross-modal measurement that is complementary to the local perspective. The global aggregated visual features also provide additional supervision, which is indispensable to the optimization of the learnable semantic centers. We achieve consistent improvements on three standard text-video retrieval benchmarks and outperform the state-of-the-art by a clear margin.

研究の動機と目的

• 既存手法がグローバルなクロスモodal類似度にのみ注目し、細粒度のローカルアラインメントを無視するという限界を是正すること。
• 複雑なペairwise 操作を共通で学習可能な意味的センター機構に置き換えることで、ローカルマッチングにおける計算コストを低減すること。
• 相互監視を用いてローカルおよびグローバルアラインメントを共同最適化することで、クロスモーダル検索性能を向上させること。
• 手動の階層的パースや複雑なアーキテクチャを必要とせず、テキストと動画の joint な意味的トピックを自動で学習すること。

提案手法

• T2VLAD は、テキストと動画特徴を同じ共有 NetVLAD レイヤーで処理し、学習可能な意味的センターを用いてローカル表現に符号化する。
• テキストと動画特徴は同じ共有センターに柔らかく割り当てられ、各トピック内でのローカルクロスモーダル類似度計算が可能になる。
• 同じ意味的センターに割り当てられたテキストと動画特徴間の距離を最小化することで、ローカルアラインメントを実現する。
• グローバルアラインメントは、グローバルに集約されたテキストと動画特徴間の類似度を計算し、補完的な監視を提供する。
• 共有センターはローカルおよびグローバルの損失目的を同時に最適化することで、意味的アラインメントが向上する。
• 高価なグラフ推論やマルチレイヤー変換器を回避し、効率的なエンドツーエンド学習が可能になる。

実験結果

リサーチクエスチョン

• RQ1 複雑なペアワイズマッチングを必要とせず、共通の意味的センターがテキストと動画の間でローカルクロスモーダルアラインメントを効果的に可能にするか？
• RQ2 ローカルおよびグローバルアラインメントを組み合わせることで、単独で使用する場合と比較して検索性能が向上するか？
• RQ3 共有センターを用いた協調符号化戦略が、テキストと動画モダリティ間の意味的ギャップを低減できるか？
• RQ4 提案手法 T2VLAD は、精度および効率の観点で最先端モデルと比較してどのように差をつけるか？
• RQ5 追加のデータ前処理なしに、多様なベンチマークで一般化できるか？

主な発見

• T2VLAD は、追加データを一切使用せず、MSRVTT ベンチマークで HowTo100M プリトレーニング済みマルチモーダル変換器を 2.9% 上回る Rank@1 スコアを達成した。
• ローカルアラインメントブランチを削除すると性能が著しく低下し、テスト時のみグローバルアラインメントを使用した場合、Rank@1 が 5.2% 減少した。
• 共有 VLAD センターを用いたモデルは、別個のセンターまたはマックスプーリングを使用するバージョンを上回り、センター共有が意味的ギャップを低減することの有効性を裏付けた。
• アブレーションスタディの結果、グローバルアラインメントがローカルアラインメントの最適化に不可欠であることが確認され、それを学習で無視すると損失の発散が生じた。
• 可視化結果から、高割り当てセンターが顕著な語（例：'guy', 'something'）と意味的に一致していることが示され、モデルが意味的なローカルトピックを適切に学習できていることを検証した。
• 定性的な結果から、T2VLAD は複数の意味的キーポイントをアラインメントすることで正解動画を正確に検索できる一方、ローカルアラインメントを欠いたモデルは正確なコンテンツを捉えられていないことが明らかになった。