[論文レビュー] Query-Focused Video Summarization: Dataset, Evaluation, and A Memory Network Based Approach

Aidean Sharghi, Jacob Laurel+1 more|arXiv (Cornell University)|Jul 16, 2017

Video Analysis and Summarization参考文献 1被引用数 27

ひとこと要約

本稿では、ユーザーのクエリに注目する動画要約フレームワークを提案する。このフレームワークは、メモリネットワークと逐次的デターミナント・ポイント過程（DPP）を組み合わせ、ユーザーのクエリに注目し、パーソナライズされた要約を生成する。本稿では、ショット単位の概念アノテーションが豊富な新しいデータセットと、意味的評価指標を導入し、自動評価および人間評価の両方でベースラインを上回る優れた性能を示している。

ABSTRACT

Recent years have witnessed a resurgence of interest in video summarization. However, one of the main obstacles to the research on video summarization is the user subjectivity - users have various preferences over the summaries. The subjectiveness causes at least two problems. First, no single video summarizer fits all users unless it interacts with and adapts to the individual users. Second, it is very challenging to evaluate the performance of a video summarizer. To tackle the first problem, we explore the recently proposed query-focused video summarization which introduces user preferences in the form of text queries about the video into the summarization process. We propose a memory network parameterized sequential determinantal point process in order to attend the user query onto different video frames and shots. To address the second challenge, we contend that a good evaluation metric for video summarization should focus on the semantic information that humans can perceive rather than the visual features or temporal overlaps. To this end, we collect dense per-video-shot concept annotations, compile a new dataset, and suggest an efficient evaluation method defined upon the concept annotations. We conduct extensive experiments contrasting our video summarizer to existing ones and present detailed analyses about the dataset and the new evaluation method.

研究の動機と目的

• ユーザーの主観性を扱うために、ユーザーが提供するテキストクエリに基づいて要約をパーソナライズ化する。
• 視覚的または時間的重複に基づくのではなく、意味的コンテンツに注目することで、動画要約システムの評価の課題を克服する。
• より正確で人間の評価と整合性のとれた評価を可能にするために、ショット単位の密度の高い概念アノテーションを備えた新しいデータセットを開発する。
• クエリ情報と動画コンテンツを効果的に統合し、多様性があり関連性の高い要約を生成するニューラルアーキテクチャを設計する。

提案手法

• ユーザーのクエリに注目し、関連する動画ショットを選択するため、パrameterized逐次的デターミナント・ポイント過程（DPP）を用いたメモリネットワークを提案する。
• ショット単位の概念をバイナリ意味的ベクトルで表現し、IOUに基づくメトリクスを用いて意味的類似度を計算可能にする。
• クエリ埋め込みをメモリネットワークに統合し、動画フレームやショットに対する注目を誘導する。
• 学習可能なパラメータを有するDPPカーネルを用いて、選択されたショットの多様性をモデル化し、重複を防ぐ。
• 関連性と多様性の両方を最適化する微分可能でエンドツーエンドの最適化を用いてモデルを訓練する。
• ユーザーがラベル付けした要約とシステムが生成した要約の意味的ベクトル間のIOU類似度に基づく、新しい評価指標を定義する。

実験結果

リサーチクエスチョン

• RQ1 クエリ中心の動画要約は、ユーザーの好みと整合するパーソナライズされた要約を生成できるか？
• RQ2 提案された意味的評価指標は、ROUGE-SU4などの既存の指標と比較して、人間の判断とどの程度相関しているか？
• RQ3 メモリネットワークにDPPを組み合わせることで、クエリ中心の設定において、ベースラインと比較して要約品質がどの程度向上するか？
• RQ4 提案モデルの個々の構成要素（例：注目機構、埋め込み次元、DPP）は、性能にどの程度寄与しているか？
• RQ5 密度の高いショット単位の概念アノテーションを備えた新しいデータセットは、動画要約システムのより信頼性が高く細分化された評価を可能にするか？

主な発見

• 提案モデルは、オラクル要約長が与えられた場合でも、SubMod や Quasi などの既存手法を、一般的な動画要約シナリオにおいて上回る性能を示した。
• アブレーションスタディの結果、注目機構、埋め込み層、DPP のすべての構成要素が性能向上に寄与しており、いずれかのコンponentを削除すると性能が著しく低下することが確認された。
• 評価指標は、ユーザーの要約からショットをランダムに削除した場合、再現率が線形に減少する傾向を示しており、ROUGE-SU4とは異なり一貫性があり予測可能な挙動を示している。
• 要約ベースの指標（例：ROUGE-SU4）と比較して、概念アノテーションに基づく意味的評価指標は、人間の認識とより高い相関を示す。これは、微妙な視覚的詳細のカバレッジと安定性の向上によって裏付けられている。
• 密度の高いショット単位の概念アノテーションを備えたデータセットは、要約のキャプションでは捉えきれない意味的差異を捉えることができ、より洗練された信頼性の高い評価を可能にする。
• モデルの注目機構は、多様なクエリタイプにわたり、意味的に関連するショットを適切に選択しており、ユーザーのクエリと効果的に一致していることが実証された。