[論文レビュー] Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning

Shizhe Chen, Yida Zhao+2 more|arXiv (Cornell University)|Mar 1, 2020

Multimodal Machine Learning Applications参考文献 38被引用数 26

ひとこと要約

本稿では、ビデオ-テキストマッチングをイベント、アクション、エントイティの3つの意味的レベルに分解することで、注意に基づくグラフ推論を用いてクロスレベル間の相互作用を捉える、階層的グラフ推論（HGR）モデルを提案する。このモデルは、MSR-VTT、TGIF、VATEXで最先端の性能を達成しており、特に不完全または意味的に繊細な文のペアにおいて、細分化された検索において顕著な向上を示している。

ABSTRACT

Cross-modal retrieval between videos and texts has attracted growing attentions due to the rapid emergence of videos on the web. The current dominant approach for this problem is to learn a joint embedding space to measure cross-modal similarities. However, simple joint embeddings are insufficient to represent complicated visual and textual details, such as scenes, objects, actions and their compositions. To improve fine-grained video-text retrieval, we propose a Hierarchical Graph Reasoning (HGR) model, which decomposes video-text matching into global-to-local levels. To be specific, the model disentangles texts into hierarchical semantic graph including three levels of events, actions, entities and relationships across levels. Attention-based graph reasoning is utilized to generate hierarchical textual embeddings, which can guide the learning of diverse and hierarchical video representations. The HGR model aggregates matchings from different video-text levels to capture both global and local details. Experimental results on three video-text datasets demonstrate the advantages of our model. Such hierarchical decomposition also enables better generalization across datasets and improves the ability to distinguish fine-grained semantic differences.

研究の動機と目的

• ビデオ-テキスト検索におけるグローバル埋め込みモデルの、細分化された視覚的・言語的詳細を捉える限界を解消する。
• 順序付きモデリングの欠陥を補うために、両モodalのトポロジカル構造と関係性推論を統合する。
• 意味的に繊細な差異を示す弱教師ありの複雑なビデオ-テキストペアにおける検索性能を向上させる。
• 分離可能で階層的な表現を学習することで、データセット間での一般化を向上させる。
• ロールスイッチング、エントイティ置換、不完全な記述を含む細分化された二値選択タスクにおいて、優れた性能を示す。

提案手法

• ビデオとテキストを、グローバルなイベント（完全な文）、アクション（動詞）、エントイティ（名詞句）の3つの階層的意味的レベルに分解する。
• テキストの各レベル間の相互作用をモデル化するため、注意に基づくグラフ推論を用いて意味的役割グラフを構築する。
• クロスモーダル注意機構を用いて、ビデオ表現をテキストの各レベルと整合させる。
• 全3レベル（イベント、アクション、エントイティ）のマッチングスコアを統合し、包括的なクロスモーダル類似度スコアを生成する。
• 階層的監視を用いた共同埋め込み空間を導入することで、グローバルおよびローカルなマッチング忠実度を向上させる。
• 対照的損失を用いたエンドツーエンド学習により、テキストからビデオへの検索とビデオからテキストへの検索の両方を対象とする。

実験結果

リサーチクエスチョン

• RQ1 イベント、アクション、エントイティに階層的に分解することで、細分化されたビデオ-テキスト検索が向上するか？
• RQ2 意味的レベル間で注意に基づくグラフ推論を適用することで、クロスモーダル整合性と推論能力が向上するか？
• RQ3 標準的な共同埋め込みモデルと比較して、モデルはデータセット間でより良い一般化性能を示すか？
• RQ4 ロールスイッチングやエントイティ置換といった繊細な意味的差異を、モデルはどれほど正確に区別できるか？
• RQ5 階層的マッチングの統合は、不完全または部分的な記述において性能を向上させるか？

主な発見

• HGRモデルは、MSR-VTTにおけるテキストからビデオへの検索で平均逆順位（MedR）24、ビデオからテキストへの検索で11を達成し、先行手法を上回った。
• 細分化された二値選択タスクにおいて、HGRは平均正答率78.61%を達成し、VSE++（77.37%）やDual Encoding（76.43%）を顕著に上回った。
• 不完全なイベントタスクにおいて、最も高い改善を示した（正答率82.04%）、これはより包括的な記述を好む能力を示している。
• 階層的レベルの統合により最良の性能（テキストからビデオへの検索でR@1 71.9%）が得られ、個別のレベルを上回った。これは多段階推論の利点を裏付けた。
• 定性的な結果から、HGRは全アクションとエントイティと一致する動画を正しく検索し、重要な要素が欠落した動画を効果的に除外している。
• YouTube2Textなどの未学習データセットに対しても良好な一般化性能を示しており、階層的表現学習の堅牢性と転送可能性を示している。