[論文レビュー] Weak Supervision and Referring Attention for Temporal-Textual Association Learning

Zhiyuan Fang, Shu Kong+3 more|ArXiv.org|Jun 21, 2020

Multimodal Machine Learning Applications参考文献 62被引用数 15

ひとこと要約

本論文は、動画レベルの自然言語記述のみを監視情報として用いる弱教師付きフレームワークWSRAを提案する。参照注意メカニズムを備えたWSRAは、動画内セグメントのヒント、ハードネガティブマイニング、およびクロスビデオの視覚的類似性を活用することで、DiDeMo や Charades-STA などのベンチマークで完全教師付きモデルと同等の性能を達成し、先行する弱教師付き手法に比べてリCALLが最大18%向上する。

ABSTRACT

A system capturing the association between video frames and textual queries offer great potential for better video analysis. However, training such a system in a fully supervised way inevitably demands a meticulously curated video dataset with temporal-textual annotations. Therefore we provide a Weak-Supervised alternative with our proposed Referring Attention mechanism to learn temporal-textual association (dubbed WSRA). The weak supervision is simply a textual expression (e.g., short phrases or sentences) at video level, indicating this video contains relevant frames. The referring attention is our designed mechanism acting as a scoring function for grounding the given queries over frames temporally. It consists of multiple novel losses and sampling strategies for better training. The principle in our designed mechanism is to fully exploit 1) the weak supervision by considering informative and discriminative cues from intra-video segments anchored with the textual query, 2) multiple queries compared to the single video, and 3) cross-video visual similarities. We validate our WSRA through extensive experiments for temporally grounding by languages, demonstrating that it outperforms the state-of-the-art weakly-supervised methods notably.

研究の動機と目的

• フレームレベルのアノテーションが入手困難であるにもかかわらず、動画内の時系列的・言語的関連付けを学習する課題に対処すること。
• 動画レベルの自然言語記述のみを監視情報として効果的に活用する弱教師付き学習フレームワークの開発。
• 動画内セグメントからの情報的ヒント、複数のクエリ、およびクロスビデオの視覚的類似性を活用することで、グランドイング性能の向上。
• 対照学習とハードネガティブサンプリングを用いて、クエリを関連する動画セグメントに動的にグランドイングする新しい注意メカニズムの設計。
• 標準ベンチマーク（DiDeMo、Charades-STA）におけるフレームワークの検証と、既存の弱教師付きおよび完全教師付き手法に対する優位性の示唆。

提案手法

• 参照注意メカニズムは、クエリに基づいて不要なフレームを特定・抑制する背景モデルを用いることで、関連するセグメントに焦点を向ける。
• 対照学習部は、クエリに関連する前景特徴と関係のない背景特徴を区別することで、特徴の識別能を向上させる。
• ハードネガティブマイニングを統合し、トレーニング中に不要なテキスト記述をサンプリングすることで、曖昧またはノイズの多い監視情報に対してもモデルのロバスト性を向上。
• クロスビデオの視覚的類似性損失は、テキストクエリが意味的に類似する異なる動画の視覚的特徴を一致させることで、一般化性能を向上。
• トップ/最後のKサンプリング戦略は、対照学習における偽陽性および情報量の少ないサンプルをフィルタリングし、トレーニングの安定性と性能を向上。
• フレームワークはKineticsで事前学習されたI3D特徴を用い、推論時にはスライディングウィンドウサンプリングを適用してモーメント候補を生成。

実験結果

リサーチクエスチョン

• RQ1 動画レベルの自然言語記述のみを用いて、弱教師付きモデルが強力な性能を達成できるか？
• RQ2 動画内セグメントのヒントとクロスビデオの意味的類似性を活用することで、弱教師付き学習における時系列的・言語的関連付けの性能を向上できるか？
• RQ3 テキスト記述のハードネガティブマイニングが、弱教師付き学習下でのモデル一般化性能向上に果たす役割は何か？
• RQ4 提案された参照注意メカニズムは、既存の対照学習アプローチと比較して、特徴の識別能と局所化精度の両面で優れているか？
• RQ5 弱教師付きモデルは、モーメント検索および言語グランドイングタスクにおいて、完全教師付きモデルに匹敵または上回る性能を達成できるか？

主な発見

• DiDeMoデータセットにおいて、WSRAは最先端の弱教師付き手法TGAをR@1で5.5%、R@5で11%上回った。
• Charades-STAデータセットでは、IoU閾値0.3でR@1で18%、IoU 0.5で12%の向上を達成した。
• WSRAは、CCA やLSTMベースの手法を含む複数の完全教師付きモデルと同等の性能を達成したが、弱教師付き学習のみを用いた。
• アブレーションスタディにより、参照注意メカニズムの各構成要素（背景モデル、対照学習、クロスビデオ類似性）が性能向上に顕著な寄与をしていることが確認された。
• トップ/最後のKサンプリング戦略は、ノイズの多い偽陽性サンプルを効果的にフィルタリングし、トレーニングの安定性と最終的な正答率の向上に寄与した。
• Charades-STAにおける定性的な結果から、WSRAは長時間の動画においても複雑で自由なフォーマットのクエリを正しくグランドイングでき、言語的ばらつきに対してもロバストであることが示された。