[論文レビュー] Boundary Proposal Network for Two-Stage Natural Language Video Localization

Shaoning Xiao, Long Chen+5 more|arXiv (Cornell University)|Mar 15, 2021

Multimodal Machine Learning Applications参考文献 35被引用数 17

ひとこと要約

本稿では、自然言語動画局所化のための2段階フレームワークであるBoundary Proposal Network (BPNet) を提案する。まず、アンカーフリーなバックボーンを用いて、事前に定義された時系列アンカーを用いないことで高品質な動画セグメント候補を生成し、次に視覚言語融合層とマッチングスコアレーティングを用いて、候補を言語クエリに一致させる。BPNet は、Charades-STA、TACoS、ActivityNet-Captions の3つのベンチマークで最先端の性能を達成し、セグメントレベルの相互作用を効果的にモデル化しながら、可変長セグメントへの適応性を維持している。

ABSTRACT

We aim to address the problem of Natural Language Video Localization (NLVL)-localizing the video segment corresponding to a natural language description in a long and untrimmed video. State-of-the-art NLVL methods are almost in one-stage fashion, which can be typically grouped into two categories: 1) anchor-based approach: it first pre-defines a series of video segment candidates (e.g., by sliding window), and then does classification for each candidate; 2) anchor-free approach: it directly predicts the probabilities for each video frame as a boundary or intermediate frame inside the positive segment. However, both kinds of one-stage approaches have inherent drawbacks: the anchor-based approach is susceptible to the heuristic rules, further limiting the capability of handling videos with variant length. While the anchor-free approach fails to exploit the segment-level interaction thus achieving inferior results. In this paper, we propose a novel Boundary Proposal Network (BPNet), a universal two-stage framework that gets rid of the issues mentioned above. Specifically, in the first stage, BPNet utilizes an anchor-free model to generate a group of high-quality candidate video segments with their boundaries. In the second stage, a visual-language fusion layer is proposed to jointly model the multi-modal interaction between the candidate and the language query, followed by a matching score rating layer that outputs the alignment score for each candidate. We evaluate our BPNet on three challenging NLVL benchmarks (i.e., Charades-STA, TACoS and ActivityNet-Captions). Extensive experiments and ablative studies on these datasets demonstrate that the BPNet outperforms the state-of-the-art methods.

研究の動機と目的

• 1段階のNLVL手法の限界、特にアンカーベース手法の非効率性とアンカーフリー手法のセグメントレベルのモデリングの悪さを解決すること。
• 提案生成とマッチングを分離することで、可変長動画セグメントに適応可能な包括的な2段階フレームワークを開発すること。
• 専用の視覚言語融合層を用いて、セグメントレベルで視覚的および言語的特徴を統合的にモデリングすることで、性能を向上させること。
• アンカーフリーなバックボーンにより、冗長な候補を最小限に抑えつつ、高い再現率を維持することで、計算コストを低減すること。
• 各段階を強力なモデルに容易に置き換え可能で、全体の再トレーニングを必要としない柔軟かつ交換可能なパイプラインを確立すること。

提案手法

• BPNet は、事前に定義された時系列アンカーを用いないため、アンカーフリーなバックボーンを用いて、境界フレームを予測することで、高品質な動画セグメント候補を生成する。
• 1段階目の出力は、開始時刻と終了時刻を持つ候補セグメントであり、ヒューリスティックなルールを避けて冗長性を低減する。
• 視覚言語融合層が、各候補セグメントと入力言語クエリ間のマルチモodal相互作用をモデリングする。
• 融合層は、動画と言語的文脈の両方を捉えた共同表現を生成し、より正確な一致を可能にする。
• マッチングスコアレーティング層は、各候補の類似度スコアを計算し、共同埋め込みに基づいて最良のマッチングセグメントを選択する。
• このフレームワークはエンド・ツー・エンドでトレーニング可能であり、モジュラー構造を採用しており、提案生成器やマッチングモジュールをより強力なコンponentsに交換可能である。

実験結果

リサーチクエスチョン

• RQ1 アンカーベースおよびアンカーフリーな1段階手法と比較して、両者の長所を組み合わせた2段階フレームワークが、自然言語動画局所化において優れた性能を発揮できるか？
• RQ2 ヒューリスティックなアンカー設計と比較して、アンカーフリーな提案生成段階は、可変長動画セグメントへの適応性を向上させるか？
• RQ3 セグメントレベルでの明示的な視覚言語融合は、フレームレベルのモデリングを上回る一致性能を向上させられるか？
• RQ4 候補数の削減が、局所化精度を損なわず、どの程度効率性を向上させられるか？
• RQ5 提案されたBPNetフレームワークは、他の動画・言語タスクへも汎用的かつ拡張可能か？

主な発見

• BPNet は、Charades-STA、TACoS、ActivityNet-Captions の3つのベンチマークすべてで最先端の性能を達成し、既存の手法を上回っている。
• TACoS では、8つの候補で mIoU 19.53% を達成し、最大233個の候補を必要とするアンカーベースモデルを著しく上回っている。
• Charades-STA では、mIoU 38.03% を達成し、ベースラインのアンカーベースモデルと比較して3.25%の向上を示し、アンカーフリーモデルと比較しても3.25%の向上を示している。
• アブレーションスタディにより、視覚言語融合層が Charades-STA で mIoU を 34.78% から 38.25% まで 3.25 パercantageポイント向上させることを確認しており、セグメントレベルの相互作用モデリングの有効性が示されている。
• 平均的なセグメント長が異なるデータセットに対しても、フレームワークは頑健に機能し、特に平均的に長いセグメントを含む ActivityNet-Captions においても優れた性能を示している。
• アンカーベース手法（最大233個）と比較して、候補数が著しく削減（わずか8個）されていることから、生成された候補の高品質さが裏付けられている。