[論文レビュー] ElasticPlay: Interactive Video Summarization with Dynamic Time Budgets

Haojian Jin, Yale Song+1 more|arXiv (Cornell University)|Aug 23, 2017

Video Analysis and Summarization参考文献 34被引用数 5

ひとこと要約

ElasticPlay は、再生中に時間予算を動的に調整できるインタラクティブな動画要約システムを導入し、選択的高速再生とショットスキップを通じて、時間制約のもとで理解度を最適化するリアルタイムな動画コンテンツ最適化を可能にする。Cut-and-Forward (CaF) アルゴリズムは、0/1ナップサック問題の変種としてこの問題を定式化し、TVSum50 で既存手法を上回り、研究において強いユーザーの好みを示している。

ABSTRACT

Video consumption is being shifted from sit-and-watch to selective skimming. Existing video player interfaces, however, only provide indirect manipulation to support this emerging behavior. Video summarization alleviates this issue to some extent, shortening a video based on the desired length of a summary as an input variable. But an optimal length of a summarized video is often not available in advance. Moreover, the user cannot edit the summary once it is produced, limiting its practical applications. We argue that video summarization should be an interactive, mixed-initiative process in which users have control over the summarization procedure while algorithms help users achieve their goal via video understanding. In this paper, we introduce ElasticPlay, a mixed-initiative approach that combines an advanced video summarization technique with direct interface manipulation to help users control the video summarization process. Users can specify a time budget for the remaining content while watching a video; our system then immediately updates the playback plan using our proposed cut-and-forward algorithm, determining which parts to skip or to fast-forward. This interactive process allows users to fine-tune the summarization result with immediate feedback. We show that our system outperforms existing video summarization techniques on the TVSum50 dataset. We also report two lab studies (22 participants) and a Mechanical Turk deployment study (60 participants), and show that the participants responded favorably to ElasticPlay.

研究の動機と目的

• 静的動画要約の限界に対処すること、すなわち、最適な要約長が事前に不明であることが多いこと。
• 再生中に変化するユーザーの状況やコンテンツ品質に適応するリアルタイムでユーザー主導の要約を可能にすること。
• 直接操作（時間予算スライダ）と自動動画理解を統合し、ミックスド・イニシアチブ型インターフェースを実現すること。
• 選択的高速再生とショット選択を組み合わせることで要約品質を向上させ、ユーザーの理解度を最適化すること。
• 制御されたラボ研究および大規模な展開を通じて、システムの使いやすさ、透明性、有効性を評価すること。

提案手法

• ユーザーは、残りの動画コンテンツに費やす時間を指定するために、時間予算スライダと対話する。
• Cut-and-Forward (CaF) アルゴリズムは、要約の最適化問題として動画要約を定式化し、顕著なショットを選択し、理解度を最大化するように再生速度を割り当てる。
• アルゴリズムは、アイテムが理解度の増加と時間コストを有する動画ショットである 0/1 ナップサック問題の変種を使用する。
• 理解度の増加は、心理学における WF 法則を用いてモデル化され、再生速度と理解速度の関係を表す。
• システムはリアルタイムで最適な再生計画を計算し、どのショットをスキップするか、高速再生するか、通常速度で再生するかを調整する。
• ショットごとのビジュアライゼーション（サムネイルと透過度インジケータを含む）が、要約戦略に関する即時のフィードバックを提供する。

実験結果

リサーチクエスチョン

• RQ1 動的時間予算の導入は、静的または事前計算された要約と比較して、動画要約におけるユーザーのコントロールと満足度をどのように向上させるか？
• RQ2 リアルタイムフィードバックを備えたミックスド・イニシアチブ型インターフェースは、ユーザーの要約プロセス理解をどのように向上させるか？
• RQ3 選択的高速再生とショット選択を組み合わせることで、従来の 0/1 ナップサックベースの要約と比較して、理解度とユーザーの好みの両面で優れているか？
• RQ4 ユーザーは、動画視聴中にコンテンツの質や状況に応じて、時間予算の使用行動をどのように変化させるか？
• RQ5 システムの透明性とライブチューニングは、ユーザーの主観的コントロール感と使いやすさをどの程度向上させるか？

主な発見

• ElasticPlay は、TVSum50 データセットにおいて、既存の動画要約技術を要約精度の面で上回った。
• 22名の参加者が関与したラボ研究では、ユーザーは ElasticPlay の有用性について高い満足度（平均スコア µ = 7.8）を示し、インターフェースが要約プロセスの理解を支援すると感じた（µ = 6.6）。
• 60名の参加者が関与した Mechanical Turk 展開では、ユーザーはシステムの有用性（µ = 6.13）、再利用意欲（µ = 6.27）、透明性の高さ（µ = 7.73）を高く評価した。
• 参加者は、コンテンツが重要でない、または退屈だと感じた場合に、時間予算スライダを減少させるなど、適応的に使用していた。
• ショットのビジュアライズは、要約戦略の理解を支援すると感じられ、一部のユーザーはインタラクション中にスクリーン上にオーバーレイとして表示してほしいと要望した。
• 即時のフィードバックとライブチューニングの能力が、ユーザーの好みの主な要因であり、重要なコンテンツを逃す不安を軽減していた。