[論文レビュー] Context-aware Biaffine Localizing Network for Temporal Sentence Grounding

Daizong Liu, Xiaoye Qu+6 more|arXiv (Cornell University)|Mar 22, 2021

Multimodal Machine Learning Applications参考文献 48被引用数 15

ひとこと要約

本稿では、時間的文脈埋め込みを用いた二重アフィン局所化ネットワーク（CBLN）を提案する。この手法は、マルチスケールの局所的およびグローバルな文脈モデリングを強化した二重アフィン機構を用いて、同時にすべての可能な開始-終了フレームペアのスコアを算出する。CBLNはActivityNet Captions、TACoS、Charades-STAの3つのベンチマークで最先端の性能を達成し、ActivityNet CaptionsではIoU=0.7のR@1が27.60%に達する。これは、局所的視覚的特徴とグローバルな時間的依存関係を統合的にモデリングすることで、言語クエリと動画セグメントの間の優れた一致を実現していることを示している。

ABSTRACT

This paper addresses the problem of temporal sentence grounding (TSG), which aims to identify the temporal boundary of a specific segment from an untrimmed video by a sentence query. Previous works either compare pre-defined candidate segments with the query and select the best one by ranking, or directly regress the boundary timestamps of the target segment. In this paper, we propose a novel localization framework that scores all pairs of start and end indices within the video simultaneously with a biaffine mechanism. In particular, we present a Context-aware Biaffine Localizing Network (CBLN) which incorporates both local and global contexts into features of each start/end position for biaffine-based localization. The local contexts from the adjacent frames help distinguish the visually similar appearance, and the global contexts from the entire video contribute to reasoning the temporal relation. Besides, we also develop a multi-modal self-attention module to provide fine-grained query-guided video representation for this biaffine strategy. Extensive experiments show that our CBLN significantly outperforms state-of-the-arts on three public datasets (ActivityNet Captions, TACoS, and Charades-STA), demonstrating the effectiveness of the proposed localization framework.

研究の動機と目的

• 開始時刻と終了時刻の境界を独立して回帰または候補提案のランク付けに依存する従来手法の限界を是正する。これらの手法は、開始点と終了点の間の結合的依存関係をモデル化できない。
• 各フレームに対して局所的視覚的文脈（隣接フレーム）とグローバルな動画文脈（全動画）を明示的にモデル化することで、境界の識別を向上させる。
• 言語クエリと動画特徴の間の微細なマルチモodal相互作用を捉えるクエリガイドド動画表現を開発し、より良い一致を実現する。
• 時間的文脈埋め込みを、二重アフィン機構を用いてすべての可能な開始-終了ペアのスコアリング問題に再定式化することで、時間的構造と文脈を保持する。

提案手法

• マルチスケールの局所的文脈（隣接フレーム）とマルチスケールのグローバル文脈（全動画）をスタックされた非局所ブロックを介して統合することで、フレームレベルの表現を豊かにする、マルチコンテキスト二重アフィン局所化（MCBL）モジュールを提案する。
• 文脈の依存関係をモデル化することで、文クエリと動画フレームの間のクロスモーダル依存関係を学ぶ、マルチモーダル自己注意（MMSA）モジュールを導入する。
• すべての可能な開始フレームと終了フレームペアの間の適合スコアを同時に計算するために、二重アフィン機構を採用し、時間的境界の共同予測を可能にする。
• MCBLモジュールにおける特徴統合に、マックスプーリングと連結を用い、非局所ブロックにより局所的およびグローバル文脈表現間の適応的相互作用を可能にする。
• マルチスケールウィンドウ処理を適用：局所的文脈にはK^l ∈ {1,3,5}、グローバル文脈にはK^g ∈ {1,2,4}を用い、多様な空間時間的パターンを捉える。
• モデル全体をエンドツーエンドで訓練し、MMSAモジュールとMCBLモジュールを同時に最適化することで、言語クエリと動画セグメントの間の一致を向上させる。

実験結果

リサーチクエスチョン

• RQ1 すべての開始-終了フレームペアを同時にスコアリングする二重アフィン機構は、境界を独立して回帰またはランク付けする手法を上回る性能を発揮するか？
• RQ2 局所的（隣接フレーム）およびグローバル（全動画）文脈が、時間的文脈埋め込みにおける境界局所化をどのように向上させるか？
• RQ3 異なる統合戦略（例：平均プーリング対マックスプーリング）が、マルチモーダルおよびマルチコンテキスト特徴の統合に与える影響は何か？
• RQ4 マルチモーダル自己注意モジュールは、埋め込みのためのクエリガイドド動画表現を生成する上でどれほど有効か？
• RQ5 異なるコンテキスト集約および統合戦略を用いる場合、モデルの複雑さ、推論速度、性能のトレードオフはどのようなものか？

主な発見

• CBLNモデル全体は、ActivityNet CaptionsでIoU=0.7のR@1が27.60%に達し、従来の最先端手法を顕著に上回る。
• 局所的-グローバル統合モジュール内の非局所ブロックをすべて削除すると、R@1が2.55%低下し、学習可能な文脈相互作用の重要性が示された。
• 非局所ブロックを単純な連結と線形層に置き換えると、性能が1.73%低下し、スタックされた非局所機構の有効性が裏付けられた。
• MMSAおよびMCBLモジュールの両方で、平均プーリング統合戦略がマックスプーリングおよび連結を上回り、全指標で最高の性能を達成した。
• MMSAおよびMCBLモジュールを併用したモデルは、0.18秒の推論速度と10,184M GPUメモリ（バッチサイズ64）を用いて、27.60%のR@1 IoU=0.7を達成し、精度と効率の両面で2D-TANおよびCMINを上回った。
• アブレーションスタディの結果、複数スケール（K^l = {1,3,5}, K^g = {1,2,4}）を用いることで、単一スケール設定に比べて性能が向上し、より多くのグローバルスケールを追加してもわずかな向上しか得られなかった。