[論文レビュー] Weakly-Supervised Spatio-Temporally Grounding Natural Sentence in Video

Zhenfang Chen, Lin Ma+2 more|arXiv (Cornell University)|Jun 6, 2019

Multimodal Machine Learning Applications参考文献 48被引用数 9

ひとこと要約

本論文は、トレーニング中に任意の空間時間的アノテーションを必要とせず、動画内の自然な文に対応する空間時間的チューブを局所化する、新しい弱教師あり空間時間的グランドイングタスク（WSSTG）を提案する。本手法は、細粒度な文-インスタンス一致をモデル化するための注目メカニズムインタラクタと、信頼性の高い予測を強化するための多様性損失を採用し、新たに導入されたVID-文データセットにおいて最先端の性能を達成した。

ABSTRACT

In this paper, we address a novel task, namely weakly-supervised spatio-temporally grounding natural sentence in video. Specifically, given a natural sentence and a video, we localize a spatio-temporal tube in the video that semantically corresponds to the given sentence, with no reliance on any spatio-temporal annotations during training. First, a set of spatio-temporal tubes, referred to as instances, are extracted from the video. We then encode these instances and the sentence using our proposed attentive interactor which can exploit their fine-grained relationships to characterize their matching behaviors. Besides a ranking loss, a novel diversity loss is introduced to train the proposed attentive interactor to strengthen the matching behaviors of reliable instance-sentence pairs and penalize the unreliable ones. Moreover, we also contribute a dataset, called VID-sentence, based on the ImageNet video object detection dataset, to serve as a benchmark for our task. Extensive experimental results demonstrate the superiority of our model over the baseline approaches.

研究の動機と目的

• 空間時間的アノテーションが一切ない状態で、自然な文を動画内に局所化する課題に対処すること。
• 文と空間時間的インスタンスの間の細粒度な意味的関係をモデル化することで、グランドイングの正確性を向上させること。
• 多様性損失を通じて信頼性の高い予測を強化し、誤った予測を抑えるトレーニング目的関数を構築すること。
• 弱教師あり空間時間的グランドイングのための新しいベンチマークデータセット、VID-文を構築すること。

提案手法

• 領域提案ネットワークを用いて動画から空間時間的チューブ候補（インスタンス）の集合を抽出する。
• 文の埋め込みとインスタンス特徴を、細粒度レベルでのクロスマodal注目をモデル化する新しい注目メカニズムインタラクタを用いて符号化する。
• 低IoUの予測に対して高い一致スコアをペナルティとして与え、高IoUの予測を強化する多様性損失を導入する。
• 複数インスタンス学習フレームワーク内で、ランク付け損失と多様性損失の組み合わせを用いてモデルを訓練する。
• 推論時には、一致スコアが最も高いインスタンスを最終的なグランドイング結果として採用する。
• 視覚的表現には事前学習済みのI3Dネットワークの特徴を、文の符号化にはLSTMを活用する。

実験結果

リサーチクエスチョン

• RQ1 任意の空間時間的アノテーションが存在しない弱教師ありモデルは、自然な文に対応する空間時間的チューブを正確に局所化できるか？
• RQ2 文と動画インスタンスの間の細粒度なクロスマodal相互作用をどのようにモデル化すれば、グランドイング性能を向上させられるか？
• RQ3 多様性損失は、弱教師ありグランドイングにおいて、信頼性の低い予測を効果的に抑止し、信頼性の高い予測を強化できるか？
• RQ4 提案手法は、新規のVID-文データセットおよびPerson-文データセットの両方において、既存のベースラインと比較してどのように性能を発揮するか？

主な発見

• 提案モデルはPerson-文データセットで平均62.5%の精度を達成し、DVSAやGroundeRの変種を含むすべてのベースラインを上回った。
• VID-文データセットでは、完全なモデルが平均37.2%の精度に達し、ベースモデル（31.0%）および多様性損失を除いたアブレーション（Person-文で47.1%）を著しく上回った。
• アブレーションスタディの結果、注目メカニズムインタラクタと多様性損失の両方が性能向上に顕著な寄与をしていることが確認され、それぞれ平均で3.5%および1.0%の精度向上が得られた。
• 可視化の結果、注目メカニズムインタラクタが、視覚的コンテンツと一致する関連語（例：'puppy'、'hand'）を適応的に注目していることが示された。
• 多様性損失が、低IoUの予測の一致スコアを効果的に低下させるとともに、高IoUの予測の一致スコアを向上させていることが、図7の分布プロットで裏付けられた。
• VID-文データセットは、上界性能（平均47.6%）がPerson-文データセット（平均77.9%）よりも低いことから、既存のベンチマークよりもより困難であることが示された。