[論文レビュー] Hierarchical Local-Global Transformer for Temporal Sentence Grounding

Xiang Fang, Daizong Liu+3 more|arXiv (Cornell University)|Aug 31, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、時間的文脈の接地のための階層的ローカル・グローバル変換器（HLGT）を提案する。このモデルは、二重ブランチの変換器エンコーダーとグローバル・ローカル相互作用モジュールを用いて、動画クリップと文のフレーズ間の多スケール相互作用をモデル化し、3つのベンチマークデータセットで最先端の性能を達成した。精度と計算効率の両方が向上した。

ABSTRACT

This paper studies the multimedia problem of temporal sentence grounding (TSG), which aims to accurately determine the specific video segment in an untrimmed video according to a given sentence query. Traditional TSG methods mainly follow the top-down or bottom-up framework and are not end-to-end. They severely rely on time-consuming post-processing to refine the grounding results. Recently, some transformer-based approaches are proposed to efficiently and effectively model the fine-grained semantic alignment between video and query. Although these methods achieve significant performance to some extent, they equally take frames of the video and words of the query as transformer input for correlating, failing to capture their different levels of granularity with distinct semantics. To address this issue, in this paper, we propose a novel Hierarchical Local-Global Transformer (HLGT) to leverage this hierarchy information and model the interactions between different levels of granularity and different modalities for learning more fine-grained multi-modal representations. Specifically, we first split the video and query into individual clips and phrases to learn their local context (adjacent dependency) and global correlation (long-range dependency) via a temporal transformer. Then, a global-local transformer is introduced to learn the interactions between the local-level and global-level semantics for better multi-modal reasoning. Besides, we develop a new cross-modal cycle-consistency loss to enforce interaction between two modalities and encourage the semantic alignment between them. Finally, we design a brand-new cross-modal parallel transformer decoder to integrate the encoded visual and textual features for final grounding. Extensive experiments on three challenging datasets show that our proposed HLGT achieves a new state-of-the-art performance.

研究の動機と目的

• 既存の変換器ベースの手法が、同時にローカル（クリップ/フレーズ）とグローバル（動画/クエリ）な意味を捉えることの限界を解消すること。
• 標準的な変換器でフレームと単語の相互作用が均等に扱われるため生じる部分的な意味一致の問題を克服すること。
• 時間のかかる後処理やプロポーザル生成を必要としないエンドツーエンドの時間的文脈の接地を可能にすること。
• 新規のクロスモodalなサイクル整合性損失と並列デコーダーを用いて、マルチモーダルなアライメントを向上させること。
• 多様な動画ドメインにわたる一般化を向上させ、一貫したモデル性能と効率性を実現すること。

提案手法

• 動画と文をクリップとフレーズに分割し、時間的変換器を用いてローカルな依存関係を学習する。
• ローカルレベルとグローバルレベルの表現間の相互作用をモデル化するためのグローバル・ローカル変換器を導入する。
• 視覚的および言語的モダリティ間の意味的アライメントを強制するためのクロスモーダル・サイクル整合性損失（$L_{CMCC}$）を設計する。
• 最終的なセグメント予測のため、視覚的および言語的特徴を統合するための並列クロスモーダル変換器デコーダーを採用する。
• 後処理を必要としないエンドツーエンドの接地を実現するため、信頼度スコアを伴う学習可能なセット予測ヘッドを用いる。
• 局所化、信頼度、IoUの監視をバランスさせるために、ハイパーパrameter（$\lambda_{\ell_1}$, $\lambda_{{IoU}}$, $\lambda_f$）を最適化する。

実験結果

リサーチクエスチョン

• RQ1 クリップ/フレーズと動画/クエリの間の多スケール相互作用をモデル化することで、時間的文脈の接地精度が向上するか？
• RQ2 すべてのフレームと単語を等しく扱う標準的な変換器と比較して、階層的ローカル・グローバルアテンション機構は優れているか？
• RQ3 サイクル整合性のあるクロスモーダル損失は、ビデオとテキスト間の意味的アライメントを向上させられるか？
• RQ4 本手法は、調理、屋内、オープンワールドなど多様な動画ドメインに一般化できるか？
• RQ5 エンドツーエンド学習と最小限の後処理で、最先端の性能を達成できるか？

主な発見

• HLGTは、ActivityNet Captions、Charades-STA、TACoSの3つのデータセットで、それぞれR@5、IoU=0.5のスコアが67.92%、84.19%、94.50%という、新たな最先端性能を達成した。
• 提案されたCMCC損失は、TACoSにおいてコサイン類似度損失よりも1.68%の性能向上を達成した（R@5、IoU=0.5）。
• 最適なハイパーパrameterは、$\lambda_{\ell_1}=0.8$、$\lambda_{{IoU}}=0.5$、$\lambda_f=0.2$であり、局所化と信頼度のバランスを取っている。
• HLGTは1秒間に190.76〜257.38本の動画を処理でき、あらゆるデータセットで高い計算効率を示した。
• 定性的な結果から、HLGTはVIDGTRよりも多スケールの視覚的および言語的文脈を捉えることができ、より正確な接地を達成していることが示された。
• パラメータ数が類似する（114–119M）にもかかわらず、データセット間で一貫した性能を維持しており、強力な一般化能力を示している。