[論文レビュー] WSLLN: Weakly Supervised Natural Language Localization Networks

Mingfei Gao, Larry S. Davis+2 more|arXiv (Cornell University)|Aug 31, 2019

Multimodal Machine Learning Applications参考文献 39被引用数 5

ひとこと要約

WSLLN は、セグメントレベルの時系列アノテーションを一切使用せずに、動画-文ペアのみを用いてトレーニングする弱教師付き深層学習フレームワークを提案する。2本のブランチを用いたエンドツーエンドアーキテクチャにより、セグメント-テキスト整合性と時系列セグメント選択を同時に最適化することで、ActivityNet Captions で 32.2% の mIoU（平均交差率）という最先端の性能を達成し、DiDeMo でも競争力ある結果を示した。これは、最小限の監督のもとで、高い頑健性と効率性を示している。

ABSTRACT

We propose weakly supervised language localization networks (WSLLN) to detect events in long, untrimmed videos given language queries. To learn the correspondence between visual segments and texts, most previous methods require temporal coordinates (start and end times) of events for training, which leads to high costs of annotation. WSLLN relieves the annotation burden by training with only video-sentence pairs without accessing to temporal locations of events. With a simple end-to-end structure, WSLLN measures segment-text consistency and conducts segment selection (conditioned on the text) simultaneously. Results from both are merged and optimized as a video-sentence matching problem. Experiments on ActivityNet Captions and DiDeMo demonstrate that WSLLN achieves state-of-the-art performance.

研究の動機と目的

• セグメントレベルの時系列アノテーションを必要としないことで、教師あり時系列行動定位の高いアノテーションコストを低減すること。
• データ収集における人的作業を減らすために、動画-文ペアのみを用いて言語定位モデルのエンドツーエンドトレーニングを可能にすること。
• セグメント-テキスト整合性と時系列セグメント選択を同時に最適化することで、弱教師付き自然言語定位の性能を向上させること。
• 弱教師付きの監視のみを用いても、教師あり手法と比較して競争力のある性能を達成すること。

提案手法

• WSLLN は2本のブランチを持つニューラルネットワークを採用する。1本目のブランチは視覚的セグメントとテキストクエリ間の整合性スコアを計算し、もう1本のブランチはクエリに条件付けられた時系列セグメント選択を実行する。
• モデルは、動画-文マッチング、セグメント-テキスト整合性、セグメント選択をバランスさせる組み合わせ損失関数を最適化し、学習可能な重み係数 λ を用いる。
• セグメント選択は、テキスト埋め込みに条件付けられた微分可能なトップ-k選択メカニズムにより実行され、エンドツーエンドトレーニングが可能になる。
• フレームワークは、動画レベルの監視のみを用いて、正例ペアを対応させ、負例を抑圧する動画-文マッチング目的関数を活用する。
• 整合性と検出損失のトレードオフを制御するため、テキストコンテキストに基づいてセグメント予測を精緻化するリファインメントモジュールを統合する。λ がそのバランスを制御する。
• 文のエンコーディングには、微調整を行わない BERT を使用し、RGB またはオプティカルフロー入力から抽出されたクリップレベル特徴量を処理する。

実験結果

リサーチクエスチョン

• RQ1 セグメントレベルの時系列アノテーションを一切必要としない弱教師付きモデルが、自然言語定位で優れた性能を達成できるか？
• RQ2 セグメント-テキスト整合性とセグメント選択を同時に最適化することで、弱教師付き設定における定位精度がどのように向上するか？
• RQ3 特に2本のブランチ構造というアーキテクチャ設計が、弱教師付き定位における性能と頑健性に与える影響は何か？
• RQ4 弱教師付き環境下で、文エンコーダーの選択（例：BERT と GRU）が性能に与える影響は何か？
• RQ5 ActivityNet Captions や DiDeMo のような標準ベンチマークにおいて、WSLLN は弱教師ありおよび教師ありのベースラインと比較してどのように差をつけるか？

主な発見

• ActivityNet Captions では、3回の実験で平均交差率（mIoU）が 32.2% ± 0.05 を達成し、弱教師付き手法の中での高い頑健性と最先端の性能を示した。
• IoU=0.1 の条件下で R@1 が 74.0% を記録し、弱教師付きの WSDEC-W や教師ありの CTRL と比較して優れた汎化性能を示した。これは、柔軟な IoU 閾値下でも強い性能を発揮していることを示している。
• DiDeMo では、RGB 入力で R@1 が 19.4%、オプティカルフロー入力で 18.4% を達成し、教師ありの LOR モデル（16.2% R@1）を上回り、教師ありの MCN（オプティカルフローで 25.8% R@1）に近い性能に到達した。
• アブレーションスタディの結果、両ブランチとも不可欠であることが確認された。アライメントのみ（Align-only）と検出のみ（Detect-only）のベースラインでは、それぞれ mIoU が 13.4% および 13.6% にとどまり、WSLLN より顕著に性能が劣った。
• ハイパーパrameter λ に対して頑健であり、λ ∈ [0.1, 0.4] の範囲で安定した性能を示した。λ = 0（リファインメントなし）または λ = 0.5（過剰な検出損失重み）に設定すると性能が低下した。
• BERT を GRU に置き換えても、mIoU が 31.8%（BERT）と 32.2%（GRU）とほぼ同等の性能を達成したため、アーキテクチャの向上が BERT の表現力に起因するとは限らないことが示された。