[論文レビュー] Video Highlights Detection and Summarization with Lag-Calibration based on Concept-Emotion Mapping of Crowd-sourced Time-Sync Comments

Qing Ping, Chaomei Chen|arXiv (Cornell University)|Aug 7, 2017

Video Analysis and Summarization被引用数 7

ひとこと要約

本論文は、コメントの遅延、ノイズ、主観性を是正するため、コンセプト-感情マッピングとラグ補正を活用した、集団的コメントを用いた動画ハイライト検出および要約のための新規フレームワークを提案する。ショットレベルの強度を感情-コンセプト濃度でモデル化し、意味的マッピングを適用した改良版SumBasicを用いることで、ハイライト検出および要約の両面でベンチマークを上回る性能を達成する。

ABSTRACT

With the prevalence of video sharing, there are increasing demands for automatic video digestion such as highlight detection. Recently, platforms with crowdsourced time-sync video comments have emerged worldwide, providing a good opportunity for highlight detection. However, this task is non-trivial: (1) time-sync comments often lag behind their corresponding shot; (2) time-sync comments are semantically sparse and noisy; (3) to determine which shots are highlights is highly subjective. The present paper aims to tackle these challenges by proposing a framework that (1) uses concept-mapped lexical-chains for lag calibration; (2) models video highlights based on comment intensity and combination of emotion and concept concentration of each shot; (3) summarize each detected highlight using improved SumBasic with emotion and concept mapping. Experiments on large real-world datasets show that our highlight detection method and summarization method both outperform other benchmarks with considerable margins.

研究の動機と目的

• 集団的コメントの遅延、ノイズ、主観性に起因する動画ハイライト検出の課題に対処すること。
• 語彙的鎖に基づくコンセプトマッピングを用いて、動画ショットと対応するコメントの間の時間的ラグを補正すること。
• ショットごとのハイライト関連性を、感情とコンセプト濃度の統合的指標としてモデル化すること。
• 感情およびコンセプト強化されたSumBasicを用いて、簡潔で情報豊富な要約を生成すること。
• 統合的意味的および時間的モデリングを通じて、実世界の動画データセットにおける性能を向上させること。

提案手法

• 語彙的鎖に基づくコンセプトマッピングを活用し、動画ショットとコメントの間の時間的ラグを特定および是正する。
• コメントの強度、感情濃度、コンセプト密度の複合スコアを用いて、ショットレベルのハイライト可能性をモデル化する。
• 感情およびコンセプトマッピングを適用し、関連性および一貫性を向上させたSumBasic要約アルゴリズムを強化する。
• 手動アノテーションが不要な弱教師信号として、時間同期コメントを用いてハイライト瞬間を推定する。
• コメントと動画コンテンツの間のコンセプト語彙的鎖を一致させることで、コメントのタイムスタンプを補正する。
• 感情および意味的コンセプト分析を統合し、ショットごとの感情的および認知的関与度を定量化する。

実験結果

リサーチクエスチョン

• RQ1 動画ショットと集団的コメントの間の時間的ラグを、ハイライト検出に適切に補正するにはどうすればよいか？
• RQ2 コメント内の感情およびコンセプト濃度が、ハイライトに値する動画セグメントをどれだけ正確に予測できるか？
• RQ3 感情的強度と意味的豊かさを統合したハイブリッド指標は、従来の手法を上回るハイライト検出を可能にするか？
• RQ4 感情およびコンセプト強化されたSumBasicは、標準の要約ベースラインに比べて、動画ハイライトの要約でどれほど優れているか？
• RQ5 コメントのノイズおよび主観性がハイライト検出に与える影響は何か。また、その影響をどのように軽減できるか？

主な発見

• 提案されたラグ補正手法は、コメントと対応する動画ショットとの間の整合性を顕著に向上させる。
• 感情とコンセプト濃度の組み合わせは、ハイライト関連性の強力な予測子を提供し、個別の指標を上回る性能を示す。
• 感情およびコンセプト強化されたSumBasic手法は、ベースライン手法に比べて高いROUGEスコアを達成する要約を生成する。
• 本フレームワークは、実世界のデータセットにおいて顕著な性能向上を達成し、コメントのノイズおよび遅延に対して頑健であることが示された。
• 統計的に有意な差を示しながら、本手法はハイライト検出および要約の両タスクで既存のベンチマークを上回った。
• 実証的結果から、適切に処理された集団的コメントは、自動動画要約のための信頼できるシグナルを提供することが確認された。