[論文レビュー] Regularized Two-Branch Proposal Networks for Weakly-Supervised Moment Retrieval in Videos

Zhu Zhang, Zhijie Lin+3 more|arXiv (Cornell University)|Aug 19, 2020

Multimodal Machine Learning Applications参考文献 44被引用数 8

ひとこと要約

本論文は、文脈に配慮したフィルタを用いて、内部サンプルの対照的学習のための強化済みおよび抑制された動画ストリームを生成する、弱教師付き動画モーメント検索のための正則化された二本のブランチプロポーザルネットワーク（RTBPN）を提案する。二本のブランチ間でパラメータを共有して、ポジティブおよび妥当なネガティブプロポーザルを生成し、プロポーザル正則化を適用することで、RTBPNはActivityCaptionおよびCharades-STAベンチマークで最先端の性能を達成する。

ABSTRACT

Video moment retrieval aims to localize the target moment in an video according to the given sentence. The weak-supervised setting only provides the video-level sentence annotations during training. Most existing weak-supervised methods apply a MIL-based framework to develop inter-sample confrontment, but ignore the intra-sample confrontment between moments with semantically similar contents. Thus, these methods fail to distinguish the target moment from plausible negative moments. In this paper, we propose a novel Regularized Two-Branch Proposal Network to simultaneously consider the inter-sample and intra-sample confrontments. Concretely, we first devise a language-aware filter to generate an enhanced video stream and a suppressed video stream. We then design the sharable two-branch proposal module to generate positive proposals from the enhanced stream and plausible negative proposals from the suppressed one for sufficient confrontment. Further, we apply the proposal regularization to stabilize the training process and improve model performance. The extensive experiments show the effectiveness of our method. Our code is released at here.

研究の動機と目的

• 既存の弱教師付き手法がインターサンプルの対照的学習にのみ焦点を当て、意味的に類似したモーメント間のインtra-sample対照的学習を無視するという制限を解決する。
• 同じ動画内でのターゲットモーメントと妥当なネガティブモーメントの明示的な区別をモデル化することで、局所化の正確性を向上させる。
• 共有された二本のブランチアーキテクチャを通じて、同時にインターサンプルおよびイントラサンプルの対照的学習を活用するフレームワークを開発する。
• プロポーザル正則化を用いて、低品質なネガティブプロポーザルを防ぐことで、訓練の安定化と性能向上を図る。
• 高価な時間的境界のアノテーションを回避し、動画レベルの文書アノテーションのみを用いて、効果的な弱教師付き学習を可能にする。

提案手法

• テキスト特徴量を学習されたクラスターセンタに投影する言語に配慮したフィルタを設計する（NetVALDを介して）。これにより、意味的中間空間が生成される。
• 入力文に関連するフレームを強調する強化された動画ストリームと、それらを抑制するストリームを生成する。
• 共有された二本のブランチプロポーザルモジュールを実装する：一方のブランチは強化されたストリームからポジティブプロポーザルを生成し、他方のブランチは抑制されたストリームから妥当なネガティブプロポーザルを生成する。
• スコア分布に基づいて候補モーメントをサンプリングするセンター基準のプロポーザル戦略を用いることで、多様で関連性の高いプロポーザルを保証する。
• 一貫性のないプロポーザルスコアをペナルティ化することで、訓練の安定化と一般化性能の向上を図るプロポーザル正則化を適用する。
• 最も関連性の高いモーメントと与えられた文との正しいアライメントを促進するMILベースの目的関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 意味的に類似したモーメント間のインフラサンプル対照的学習は、弱教師付き動画モーメント検索を改善できるか？
• RQ2 モデルの識別性能を向上させるために、妥当なネガティブプロポーザルを効果的に生成する方法は何か？
• RQ3 二本のブランチ間のパラメータ共有が、プロポーザル品質および訓練の安定性に与える影響は何か？
• RQ4 視覚的スコアリングと比較して、言語に配慮したフィルタリング機構は、クロスマodalなアライメントをどのように改善するか？
• RQ5 弱教師付き学習におけるカバー範囲とノイズのバランスを考慮した場合、1動画あたりの最適なプロポーザル数は何か？

主な発見

• 完全なRTBPNモデルは、ActivityCaptionおよびCharades-STAデータセットの両方で最先端の性能を達成し、R@1, IoU=0.5でそれぞれ48.7%および42.1%を記録した。
• 言語に配慮したフィルタ（w/o. filter）を削除するか、パラメータ共有（w/o. parameter sharing）を除去すると、顕著な性能低下が生じ、これらがインフラサンプル対照的学習において中心的な役割を果たしていることを確認した。
• 視覚的スコアリングのみのモデル（w/o. NetVALD）は、完全なモデルに比べて性能が劣り、言語コンテキストを用いたクロスマodal推定がスコア分布の質を向上させることを示した。
• センター基準のプロポーザル手法は、すべてのプロポーザルおよびトップ-kプロポーザルのベースラインを上回る性能を示し、多様で関連性の高いモーメント候補を効果的に捉えられることを示した。
• 1動画あたりの最適なプロポーザル数は48であり、Tを48に設定した場合、両データセットで最高の性能が得られ、それ以下の値や以上の値に設定すると性能が低下した。
• 定性的な結果では、言語に配慮したフィルタが関連フレームに高いスコアを割り当てており、強化されたブランチがSCNベースラインよりもターゲットモーメントをより正確に局所化できることを示した。