[論文レビュー] End-to-End Dense Video Grounding via Parallel Regression

Fengyuan Shi, Weilin Huang+1 more|arXiv (Cornell University)|Sep 23, 2021

Multimodal Machine Learning Applications参考文献 37被引用数 5

ひとこと要約

本稿では、文の並びを1つの文書として扱い、並列デコード機構を用いて各文に対して時間的境界を直接回帰する、エンドツーエンドなフレームワークPRVGを提案する。言語をクエリとして扱い、プロポーザルレベルの注意損失を適用することで、後処理を不要とし、ActivityNet CaptionsおよびTACoSベンチマークにおいて、先行手法を上回る高い精度と推論効率を達成する。

ABSTRACT

Video grounding aims to localize the corresponding video moment in an untrimmed video given a language query. Existing methods often address this task in an indirect way, by casting it as a proposal-and-match or fusion-and-detection problem. Solving these surrogate problems often requires sophisticated label assignment during training and hand-crafted removal of near-duplicate results. Meanwhile, existing works typically focus on sparse video grounding with a single sentence as input, which could result in ambiguous localization due to its unclear description. In this paper, we tackle a new problem of dense video grounding, by simultaneously localizing multiple moments with a paragraph as input. From a perspective on video grounding as language conditioned regression, we present an end-to-end parallel decoding paradigm by re-purposing a Transformer-alike architecture (PRVG). The key design in our PRVG is to use languages as queries, and directly regress the moment boundaries based on language-modulated visual representations. Thanks to its simplicity in design, our PRVG framework can be applied in different testing schemes (sparse or dense grounding) and allows for efficient inference without any post-processing technique. In addition, we devise a robust proposal-level attention loss to guide the training of PRVG, which is invariant to moment duration and contributes to model convergence. We perform experiments on two video grounding benchmarks of ActivityNet Captions and TACoS, demonstrating that our PRVG can significantly outperform previous methods. We also perform in-depth studies to investigate the effectiveness of parallel regression paradigm on video grounding.

研究の動機と目的

• 複雑なラベル割り当てと後処理を要する、間接的で『1対多』のアプローチの限界を解消すること。
• 単一文の記述における意味的曖昧性を解消するために、段落レベルの文脈を活用することで、局所化精度を向上させること。
• NMS やランク付けなどの後処理ステップを排除することで、効率的でエンドツーエンドの推論を可能とすること。
• モーメントの持続時間に依存しない学習目的を設計することで、モデルの収束性を向上させること。
• 言語クエリを用いた直接的かつ並列的回帰に基づく、新しい密度付き動画接地のパラダイムを確立すること。

提案手法

• トランスフォーマーに類似したアーキテクチャを再利用し、言語クエリを用いて視覚的表現に注目させることで、時間的境界を直接回帰可能にする。
• 各文のクエリが独立して1つのモーメントを直接回帰する並列デコード戦略を採用し、プロポーザル生成や後処理を回避する。
• スケールに依存しないプロポーザルレベルの注意損失を導入し、正例のモーメント領域に注目を向けるように促進することで、局所化の精度を向上させる。
• 言語クエリと視覚的特徴の間のクロスアテンションを用いることで、グローバルな文脈を捉え、持続時間が異なるモーメントの柔軟な局所化を実現する。
• 段落内の自己アテンションにより、文間の関係性をモデル化し、個々の文の記述における曖昧性を解消する。
• 境界ボックス回帰損失と提案されたプロポーザルレベルの注意損失を組み合わせて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 直接的で並列的回帰アプローチは、間接的な『1対多』手法を上回る性能を示せるか？
• RQ2 言語をクエリとして用いることで、局所化精度とモデル効率がどのように向上するか？
• RQ3 モーメントの持続時間に依存しないプロポーザルレベルの注意損失は、収束性と性能を向上させるか？
• RQ4 段落レベルの文脈を用いることで、単一文の接地と比較して、意味的曖昧性をどの程度低減できるか？
• RQ5 ビームサーチによる後処理を要するDETRベースのモデルと比較して、提案フレームワークの推論速度と精度はどの程度優れているか？

主な発見

• PRVGは、ActivityNet CaptionsおよびTACoSベンチマークの両方で、先行手法を上回り、密度付き動画接地分野における最先端の性能を示した。
• プロポーザルレベルの注意損失を追加することで、位置に依存する注意損失と比較して顕著な性能向上が得られ、正例モーメント領域に注目が集中した。
• ビームサーチと後処理を要するDETRベースのモデルと比較して、PRVGは推論時間が2倍以上速く、より高速な推論を実現した。
• プロポーザルレベルの注意損失で学習したモデルは、正例領域で鋭く、複数のピークを持つ注意分布を示し、局所化の精度が向上していることが示された。
• DETR-VGおよびLanguage DETR-VGのベースラインと比較して、PRVGは特に段落内の文の時間的・意味的関係を的確に捉える能力で顕著に優れていた。
• 文間の文脈をモデル化することで、単一文の記述における曖昧性を効果的に解消し、より正確で時間的順序に沿ったモーメント局所化を実現した。