[論文レビュー] Parallel Attention Network with Sequence Matching for Video Grounding

Hao Zhang, Aixin Sun+4 more|arXiv (Cornell University)|May 18, 2021

Multimodal Machine Learning Applications参考文献 68被引用数 4

ひとこと要約

本論文では、自己ガイドド平行注意モジュールを用いてモodal内およびモダリティ間表現を統合的にモデル化し、動画セグメントを開始・内部・終了領域としてラベル付けることで開始/終了境界を予測する、プロポーザルフリーな動画グラウンドイングモデルSeqPANを提案する。SeqPANは3つのベンチマークで最先端の性能を達成し、向上したマルチモーダルモデリングと境界予測により、優れた局所化精度を示している。

ABSTRACT

Given a video, video grounding aims to retrieve a temporal moment that semantically corresponds to a language query. In this work, we propose a Parallel Attention Network with Sequence matching (SeqPAN) to address the challenges in this task: multi-modal representation learning, and target moment boundary prediction. We design a self-guided parallel attention module to effectively capture self-modal contexts and cross-modal attentive information between video and text. Inspired by sequence labeling tasks in natural language processing, we split the ground truth moment into begin, inside, and end regions. We then propose a sequence matching strategy to guide start/end boundary predictions using region labels. Experimental results on three datasets show that SeqPAN is superior to state-of-the-art methods. Furthermore, the effectiveness of the self-guided parallel attention module and the sequence matching module is verified.

研究の動機と目的

• 長時間の動画内に短く疎に分布するターゲットモーメントの正確な時間的局所化の課題に対処すること。
• プロポーザル生成に依存する既存手法や、動画フレーム列の構造的モデリングが不十分である手法の限界を克服すること。
• 動画とテキストモダリティの自己モダリティおよびクロスモダリティの注目を同時に捉えることで、マルチモーダル表現学習を向上させること。
• 動画フレームの順序的性質をモデル化し、モーメント局所化をシーケンスラベルリングタスクとして扱うことで、境界予測を強化すること。
• 領域レベルのラベル（BIEO）と学習可能なラベル埋め込みを用いたシーケンスマッチング戦略を開発し、境界局所化をガイドすること。

提案手法

• 動画とテキストモダリティ内での自己注目とそれらの間のクロス注目を同時に計算する自己ガイドド平行注目（SGPA）モジュールを提案する。
• 自己ガイドドヘッドを備えたクロスゲーティング機構を導入し、自己モダリティおよびクロスモダリティ表現を動的に統合する。
• 正解のモーメントを3つの領域に分割：開始（B）、内部（I）、終了（E）、および追加の領域（O：外部）を含み、BIEOラベル付け方式を構築する。
• 各領域を表す学習可能なラベル埋め込み（$\bm{E}_{\text{lab}}$）を用い、境界領域の特定をモデルにガイドする。
• トレーニング中に微分可能なサンプリングを可能にするために、冷却温度$\tau$を用いたGumbel-Softmaxトリックを適用し、エンドツーエンド最適化を可能にする。
• 正しいBIEOラベル付けを促進するシーケンスマッチング目的関数を用いてモデルを訓練し、局所化精度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己モダリティおよびクロスモダリティ注目を統合的にモデリングすることで、動画グラウンドイングにおけるマルチモーダル表現学習が向上するか？
• RQ2 BIEO領域を用いたシーケンスラベルリングタスクとして境界予測を扱うことで、標準的な回帰や二値分類と比較して、より正確な局所化が達成できるか？
• RQ3 学習可能なラベル埋め込みとGumbel-Softmaxトリックの使用が、正確な開始・終了境界予測をモデルにガイドするのにどの程度有効か？
• RQ4 潜在的境界領域を制約するシーケンスマッチング戦略は、フォアグラウンド/バックグラウンドまたは回帰ベースの監視を用いるベースライン手法を上回るか？
• RQ5 シーケンスマッチングモジュールにおけるGumbel-Softmaxの最適な冷却温度$\tau$は何か？

主な発見

• SeqPANは、Charades-STA、ANetCaps、ActivityNetの3つの動画グラウンドイングベンチマークで最先端の性能を達成し、全指標で先行手法を上回った。
• シーケンスマッチング（sq-match）戦略は、特に厳密なIoU閾値（例：IoU ≥ 0.5）下で顕著な局所化精度の向上を示し、ベースライン手法に一貫した利点を示した。
• 自己ガイドド平行注目（SGPA）モジュールは、アブレーションスタディにより、その削除による性能低下が確認されたことから、マルチモーダル表現学習の向上に寄与していることが示された。
• ラベル埋め込み（$\bm{E}_{\text{lab}}$）と$\tau = 0.3$を用いたGumbel-Softmaxトリックの使用が最適なパフォーマンスをもたらし、ハイパーパramータ感受性のアブレーションによりその有効性が裏付けられた。
• sq-matchを用いたモデルは、定性的な結果でより一貫性があり正確な境界予測を生成しており、予測ラベル（PSL）が正解領域と密接に一致していることが確認された。
• アブレーションスタディにより、シーケンスマッチング戦略とSGPAモジュールの両方が不可欠であることが確認され、sq-match戦略は全評価設定でベースラインのfb-match戦略を上回った。