[論文レビュー] Multi-Scale Self-Contrastive Learning with Hard Negative Mining for Weakly-Supervised Query-based Video Grounding

Shentong Mo, Daizong Liu+1 more|arXiv (Cornell University)|Mar 8, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、弱教師ありクエリベース動画グラウディングのためのマルチスケール自己対照的学習フレームワークとハードネガティブマイニングを提案する。冗長なセグメント候補を不要とし、フレーム単位のマッチングスコア予測を可能にする。粗いスケールから細かいスケールへと段階的にハードネガティブサンプルをマイニングすることで、判別性の高いフレームレベル表現を学習し、動画レベルのラベルのみを用いて2つのベンチマークで最先端の性能を達成する。

ABSTRACT

Query-based video grounding is an important yet challenging task in video understanding, which aims to localize the target segment in an untrimmed video according to a sentence query. Most previous works achieve significant progress by addressing this task in a fully-supervised manner with segment-level labels, which require high labeling cost. Although some recent efforts develop weakly-supervised methods that only need the video-level knowledge, they generally match multiple pre-defined segment proposals with query and select the best one, which lacks fine-grained frame-level details for distinguishing frames with high repeatability and similarity within the entire video. To alleviate the above limitations, we propose a self-contrastive learning framework to address the query-based video grounding task under a weakly-supervised setting. Firstly, instead of utilizing redundant segment proposals, we propose a new grounding scheme that learns frame-wise matching scores referring to the query semantic to predict the possible foreground frames by only using the video-level annotations. Secondly, since some predicted frames (i.e., boundary frames) are relatively coarse and exhibit similar appearance to their adjacent frames, we propose a coarse-to-fine contrastive learning paradigm to learn more discriminative frame-wise representations for distinguishing the false positive frames. In particular, we iteratively explore multi-scale hard negative samples that are close to positive samples in the representation space for distinguishing fine-grained frame-wise details, thus enforcing more accurate segment grounding. Extensive experiments on two challenging benchmarks demonstrate the superiority of our proposed method compared with the state-of-the-art methods.

研究の動機と目的

• 完全教師ありクエリベース動画グラウディングにおける高いアノテーションコストを低減するため、動画レベルのラベルのみを活用する。
• 事前に定義された冗長なセグメント候補に依存する従来の弱教師あり手法の限界を克服し、フレームレベルの識別性を向上させる。
• 正例と背景に近いハードネガティブフレームを区別できるように、細粒度のフレーム単位表現学習を向上させる。
• 局所的フレームスケールとグローバルセグメントスケールの両方で、段階的に難しいネガティブサンプルをマイニングする粗いスケールから細かいスケールへの対照的学習戦略を開発する。

提案手法

• セグメント候補に依存しないように、アテンションメカニズムを用いたフレーム単位のマッチングスコア予測を提案し、各フレームのフォアグラウンドの可能性を推定する。
• 予測スコアに基づいて動的にポジティブおよびネガティブサンプルを定義するマルチスケール自己対照的学習パラダイムを導入する。
• 粗いスケールから細かいスケールへの反復的ハードネガティブマイニング戦略を実装し、サンプリング範囲を段階的に更新することで、次第に類似度の高いネガティブフレームを標的とする。
• 局所的フレームスケールと非局所的セグメントスケールの両方でハードネガティブサンプルを探索し、マルチスケールの内在的特徴を学習する。
• 学習可能なハイパーパrameter（λ_fra と λ_seg）を用いてフレームレベルとセグメントレベルの損失をバランスさせ、グラウディング精度を最適化する。
• 学習可能なしきい値を用いて、連続する高スコアフレームをグループ化し、最終的な予測セグメントを生成する。

実験結果

リサーチクエスチョン

• RQ1 弱教師あり動画グラウディングにおいて、フレーム単位のマッチングスコア予測は、冗長なセグメント候補を置き換えることができるか？
• RQ2 フレームレベルのアノテーションが存在しない状況下で、反復的ハードネガティブマイニングを伴う自己対照的学習は、フレームレベル表現の識別性をどのように向上させるか？
• RQ3 フレームスケールとセグメントスケールの両方におけるマルチスケールハードネガティブサンプリングの影響は、類似したフォアグラウンドとバックグラウンドフレームを区別する上でどのような効果をもたらすか？
• RQ4 一度にネガティブサンプルをマイニングするのではなく、段階的に難しいネガティブサンプルをマイニングすることで、グラウディング性能にどのような影響を与えるか？
• RQ5 トレーニング目的関数において、フレームレベルとセグメントレベルの損失成分の最適なバランスは何か？

主な発見

• 提案されたMSCLフレームワークは、弱教師あり設定下でCharades-STAおよびActivityNet-Captionの両ベンチマークで最先端の性能を達成した。
• SCN や VGN+CCL といった先行手法よりも優れた性能を示し、特に正例セグメント境界の正確な局所化が向上した。これは、ハードネガティブフレームの識別性が向上したためである。
• 最適なハイパーパrameter設定は λ_fra = 10 および λ_seg = 5 であり、フレームレベルとセグメントレベルの監視のバランスが性能に与える影響が重要であることを示している。
• バッチサイズが16のときピーク性能を達成し、バッチサイズの変動に対してもロバストである。これは、従来の対照的学習手法が大規模バッチを必要とするのとは対照的である。
• 可視化結果から、反復的ハードネガティブマイニングプロセスが、段階的に正例セグメントに近いサンプルを次々に選択していることが確認され、動的サンプリング戦略の有効性が裏付けられた。
• フレーム単位のスコア曲線は、正しいセグメントに対して上界 $b_u$ 以上の最大スコアを予測していることを示しており、正確なセグメント局所化が実現されていることを検証した。