[論文レビュー] Learning Video-Story Composition via Recurrent Neural Network

Guangyu Zhong, Yi‐Hsuan Tsai+3 more|arXiv (Cornell University)|Jan 31, 2018

Video Analysis and Summarization参考文献 27被引用数 3

ひとこと要約

本論文では、空間的・時間的意味と運動ダイナミクスを統合的にモデル化して一貫性のあるクリップ系列を予測する二本のストリームで構成される再帰的ニューラルネットワーク（RNN）を用いた学習ベースのビデオ・ストーリー構成フレームワークを提案する。意味的および運動的RNN出力を統合して一貫性スコアを算出し、物語構造に一致させるために部分集合最適化（submodular ranking）を用いて順序を最適化することで、ベンチマークデータセット上での最先端手法を上回る優れたビデオ・ストーリー品質を達成した。

ABSTRACT

In this paper, we propose a learning-based method to compose a video-story from a group of video clips that describe an activity or experience. We learn the coherence between video clips from real videos via the Recurrent Neural Network (RNN) that jointly incorporates the spatial-temporal semantics and motion dynamics to generate smooth and relevant compositions. We further rearrange the results generated by the RNN to make the overall video-story compatible with the storyline structure via a submodular ranking optimization process. Experimental results on the video-story dataset show that the proposed algorithm outperforms the state-of-the-art approach.

研究の動機と目的

• 整理されていないビデオクリップから一貫性があり物語構造を持つビデオ・ストーリーを構成する課題に取り組む。
• 特に外見が曖昧な場合や運動が途切れる場合に、手作業で設計された特徴を超えてビデオクリップ間の時間的一貫性をモデル化する。
• 物語構造（導入、展開、頂点、解決）の標準的パターンに合わせて構成を整えることで、ビデオ・ストーリーの品質を向上させる。
• ビデオ要約やキャプションのための高価な真値アノテーションに依存しない自己教師あり学習フレームワークを開発する。

提案手法

• 二本のストリームRNNを訓練して一貫性をモデル化する：一方のストリームはクリップレベルの特徴を用いて空間的・時間的意味を符号化し、もう一方は光センサによるオプティカルフローから運動ダイナミクスを捉える。
• 二つのRNNはそれぞれクリップ遷移の確率スコアを出力し、これらを統合してクリップ間の統合的一貫性スコアを生成する。
• 初期のクリップ順序は、以前に選択されたクリップに基づき、一貫性スコアが最も高い次のクリップを貪欲に選択することで生成する。
• 初期順序を物語構造に適合させるために部分集合最適化（submodular ranking）最適化を適用し、上行のダイナミクスと頂点的解決を強調する。
• フレームワークは自己教師ありの方法で訓練され、手動による物語アノテーションを必要としない。
• 最終的なビデオ・ストーリーは部分集合最適化問題を解くことで構成され、滑らかな遷移と物語的一致性が保証される。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのRNNモデルは、視覚的外見が曖昧な場合にも、物語構成のためのビデオクリップ間の時間的一貫性を効果的に捉えることができるか？
• RQ2 空間的・時間的意味と運動ダイナミクスを統合的にモデル化することで、特徴マッチングベースラインと比較して、構成されたビデオ・ストーリーの品質がどの程度向上するか？
• RQ3 部分集合最適化を用いて物語構造（例：頂点、解決）を組み込むことで、最終的なビデオ・ストーリーの評価品質と一貫性はどの程度向上するか？
• RQ4 本手法は、スケートボードや庭での散歩など、シーンや動的コンテンツが多様なビデオセットにも一般化可能か？

主な発見

• ユーザーの好み評価において、本手法はブラッドリー＝テリー（Bradley-Terry）モデルスコアで1.22を達成し、ベースライン（0.88）およびPlot Analysis手法（0.85）を顕著に上回った。
• スケートボードなどの動的行動を含むBRビデオセットでは、部分集合最適化プロセスにより、ベースラインRNNに比べて視覚的一致性と遷移の滑らかさが向上した。
• 二本のストリームRNNベースラインは、特徴マッチングベースラインと比較して、成分ごとの一貫性評価においてより高いAUC（受受曲線下積分面積）を達成し、クリップ関係のより優れた学習表現を示した。
• 類似したシーンと変化するダイナミクスを伴う複雑な状況では、特に特徴ベースの手法（例：Plot Analysis）が曖昧な類似性のため失敗する状況において、本手法は顕著な優位性を示した。
• 失敗事例は主に退屈なまたは関係のないシーン（例：美術館の訪問）で発生し、コンテンツの変動が少なく物語的インパクトが弱い状況であった。
• 部分集合最適化プロセスにより、動的環境において運動ダイナミクスと意味的一致性のバランスを取ることができ、より魅力的なストーリー構成が実現された。