[論文レビュー] Reinforcement Learning for Weakly Supervised Temporal Grounding of Natural Language in Untrimmed Videos

Jie Wu, Guanbin Li+2 more|arXiv (Cornell University)|Sep 18, 2020

Multimodal Machine Learning Applications参考文献 41被引用数 10

ひとこと要約

本稿では、動画レベルのキャプションしか利用できない弱教師付き時間的グラウンディングを対象とし、強化学習に基づく境界適応的精錬（BAR）を提案する。BARは、クロスモーダル整合性評価者を用いてカスタマイズされた報酬を提供し、スライディングウィンドウを用いない境界の柔軟な精錬を可能にし、Charades-STAおよびActivityNetで最先端の性能を達成している。完全教師あり手法でさえも上回る結果を示している。

ABSTRACT

Temporal grounding of natural language in untrimmed videos is a fundamental yet challenging multimedia task facilitating cross-media visual content retrieval. We focus on the weakly supervised setting of this task that merely accesses to coarse video-level language description annotation without temporal boundary, which is more consistent with reality as such weak labels are more readily available in practice. In this paper, we propose a \emph{Boundary Adaptive Refinement} (BAR) framework that resorts to reinforcement learning (RL) to guide the process of progressively refining the temporal boundary. To the best of our knowledge, we offer the first attempt to extend RL to temporal localization task with weak supervision. As it is non-trivial to obtain a straightforward reward function in the absence of pairwise granular boundary-query annotations, a cross-modal alignment evaluator is crafted to measure the alignment degree of segment-query pair to provide tailor-designed rewards. This refinement scheme completely abandons traditional sliding window based solution pattern and contributes to acquiring more efficient, boundary-flexible and content-aware grounding results. Extensive experiments on two public benchmarks Charades-STA and ActivityNet demonstrate that BAR outperforms the state-of-the-art weakly-supervised method and even beats some competitive fully-supervised ones.

研究の動機と目的

• 未編集動画における時間的グラウンディングの課題に、動画レベルの言語記述しか入手できない弱教師付き設定で対処すること。
• 提案・ランク付けフレームワークにおける固定スライディングウィンドウ手法の限界、すなわち境界の柔軟性とコンテンツ認識の欠如を克服すること。
• 詳細な境界アノテーションが存在しない状況でも、より良いクロスモーダル整合性を目指して、境界を段階的に精錬する強化学習ベースのフレームワークを設計すること。
• ペairワイズ境界の監督が得られない状況において、ポリシー学習をガイドするためのクロスモーダル整合性スコアに基づく報酬メカニズムを設計すること。
• スライディングウィンドウの全探索を置き換える動的かつ環境に適応した精錬プロセスを導入することで、精度と効率の両方を向上させること。

提案手法

• 報酬関数に基づいて、方向とステップサイズのアクションを用いて、反復的に時間的境界を調整する強化学習エージェントを採用する。
• 文脈に配慮した特徴抽出器が、現在の状態（動画セグメントとクエリ埋め込み）をエンコードし、意思決定を支援する。
• 状態と整合性スコアに基づいて、境界調整を動的に選択するアクションプランナが、柔軟なウィンドウサイズ変更を可能にする。
• クロスモーダル整合性評価者により、動画セグメントとクエリ間の意味的一致を、インタービデオおよびイントラビデオのランク付け損失を用いて推定する。
• 連続するセグメント-クエリペアの整合性スコアを比較することで、密な連続的報酬信号を提供し、ポリシー最適化を効果的に行う。
• 過度に長すぎたり短すぎたりするセグメントを避けるために、長さペナルティを適用し、収束性と性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 真の境界アノテーションが入手不可な状況でも、強化学習を弱教師付き時間的グラウンディングに効果的に適用できるか？
• RQ2 ペアワイズセグメント-クエリの監督が得られない状況で、信頼性があり情報豊富な報酬関数をどのように設計できるか？
• RQ3 境界適応的精錬戦略は、固定スライディングウィンドウ手法に比べ、精度と効率の両面で優れているか？
• RQ4 イントラビデオランク付け損失を組み込むことで、整合性とグラウンディング性能がどの程度向上するか？
• RQ5 長さペナルティとストップ信号戦略は、精錬プロセスの収束性と頑健性にどのように影響を与えるか？

主な発見

• BARは、Charades-STAおよびActivityNetで最先端の性能を達成し、既存の弱教師付き手法を上回り、一部の完全教師ありベースラインをも上回っている。
• Charades-STAでは、文脈情報を含めた場合、tIoU@0.5が2.53%、tIoU@0.7が2.35%向上し、コンテンツに配慮したモデリングの有効性が示された。
• アブレーションスタディでは、イントラビデオランク付け損失（L_intra）を除去すると、tIoU@0.3は51.64%から46.82%に低下し、整合性精度におけるその重要性が裏付けられた。
• 整合性スコアSと真値IoUの間の相関係数（CC）は0.79に達し、Sが一致品質の信頼できる代理指標であることが確認された。
• BARは平均推論時間を0.068秒に短縮し、1動画あたりの候補提案数も1件にまで削減した。TGAと比較すると、0.104秒と65.11件の提案に比べ、顕著な効率向上が得られた。
• 最適なハイパーパramータはδ = 0.35およびτ = 0.5であり、これらの値が大きすぎたり小さすぎたりすると、性能が著しく低下することが分かった。