[論文レビュー] How Local is the Local Diversity? Reinforcing Sequential Determinantal Point Processes with Dynamic Ground Sets for Supervised Video Summarization

Yandong Li, Liqiang Wang+2 more|arXiv (Cornell University)|Jul 11, 2018

Video Analysis and Summarization参考文献 37被引用数 4

ひとこと要約

本稿では、強化学習を活用した順序付きデターミニスティック・ポイント・プロセス（DySeqDPP）を提案する。この手法は、教師あり動画要約における局所的多様性の最適なセグメント長を動的に学習する。時間的スパンを適応的にモデル化し、ポリシー勾配学習を用いることで、MLEベースの手法や最先端（SOTA）のベースラインを上回り、SumMeでは44.3±2.8のF1スコア、TVSumでは58.4±2.5のF1スコアを達成した。

ABSTRACT

The large volume of video content and high viewing frequency demand automatic video summarization algorithms, of which a key property is the capability of modeling diversity. If videos are lengthy like hours-long egocentric videos, it is necessary to track the temporal structures of the videos and enforce local diversity. The local diversity refers to that the shots selected from a short time duration are diverse but visually similar shots are allowed to co-exist in the summary if they appear far apart in the video. In this paper, we propose a novel probabilistic model, built upon SeqDPP, to dynamically control the time span of a video segment upon which the local diversity is imposed. In particular, we enable SeqDPP to learn to automatically infer how local the local diversity is supposed to be from the input video. The resulting model is extremely involved to train by the hallmark maximum likelihood estimation (MLE), which further suffers from the exposure bias and non-differentiable evaluation metrics. To tackle these problems, we instead devise a reinforcement learning algorithm for training the proposed model. Extensive experiments verify the advantages of our model and the new learning algorithm over MLE-based methods.

研究の動機と目的

• 長時間の動画要約における最適な局所的多様性のスパンを特定する課題に取り組むこと。特に、エゴセントリック動画に対して有効であることを目的とする。
• SeqDPPにおける固定セグメントアプローチの限界を克服すること。固定セグメント長を仮定し、手動での分割を必要とする。
• 動画のコンテンツと時間的構造に基づいて、局所的多様性をどのように強制すべきかをモデルが自動で推論できるようにすること。
• 露出バイアスを軽減し、F1スコアのような微分不可能な評価指標を扱える訓練フレームワークを開発すること。
• 訓練段階と推論段階のギャップを埋めるために、強化学習を用いてポリシー学習を下流の評価目的に一致させること。

提案手法

• 入力動画から局所的多様性セグメントの時間的スパンを学習するための潜在変数を導入した、SeqDPPの動的拡張版であるDySeqDPPを提案する。
• 動的に決定されたセグメントに基づく条件付きDPPを用いて局所的多様性を定義し、時間的に離れた場合に視覚的に類似したショットが同時に出現することを許容する。
• 生成された要約のF1スコアを報酬とするポリシー勾配目的関数を用いた強化学習アルゴリズムでモデルを訓練する。
• 訓練中にオラクル要約を用いてセグメント提案をサンプリングし、DPPカーネル行列 $\bm{L}^t$ の対角成分からショットレベルのスコアを算出する。
• 露出バイアスを低減するために、ポリシー勾配による最適化により期待F1スコアを最大化する。これはMLEベースの訓練に内在する露出バイアスを軽減する。
• KTSによる時間的シーン分割を用いて、ショットレベルの重要度スコアから得られるシーンレベルスコアに基づき、ナップサックベースの要約生成を実行する。

実験結果

リサーチクエスチョン

• RQ1 長時間の動画における時間的構造に応じて、固定セグメント長に依存せずに、動画要約における局所的多様性をどのように動的に適応できるか。
• RQ2 エンドツーエンドで局所的多様性スパンを学習することで、手作業または固定分割に比べて要約品質にどのような影響を与えるか。
• RQ3 F1スコアのような微分不可能な指標を用いた強化学習が、順序付きDPPモデルの訓練に有効であるか。また、露出バイアスを軽減できるか。
• RQ4 DySeqDPPは、MLEベースの訓練と比較して、一般化性能や評価指標との整合性においてどのように優れているか。
• RQ5 動的セグメント学習は、長時間のエゴセントリック動画における重要なストーリーイベントの捉え方をどの程度向上させるか。

主な発見

• DySeqDPPは、SumMeデータセットで44.3±2.8のF1スコアを達成し、以前の最先端手法であるSeqDPP（40.8±4.8）を顕著に上回る、新たな最先端性能を達成した。
• TVSumデータセットでは、58.4±2.5のF1スコアを達成し、以前の最高記録（57.4±2.0）を上回った。
• 定性的な分析から、DySeqDPPは、開始時と終了時にスカイダイビングのシーンが登場するような重要なストーリーイベントを捉えているのに対し、SeqDPPはそれを見逃していることが分かった。
• モデルは、笑いを誘う動画における「犬がボールを噛む瞬間」のような重要な瞬間を正しく特定しているが、SeqDPPはそのような瞬間を含めていなかった。
• 強化学習による訓練により、訓練目的と評価指標の間の整合性が向上し、露出バイアスが軽減された。
• 動的セグメント学習機構により、イベント密度に応じてセグメント長を適応的に変更できるため、時間的整合性とストーリーの完成度が向上した。