[論文レビュー] Title Generation for User Generated Videos

Kuo-Hao Zeng, Tseng-Hung Chen+2 more|arXiv (Cornell University)|Aug 25, 2016

Multimodal Machine Learning Applications参考文献 45被引用数 9

ひとこと要約

本稿は、動画キャプションとは別個のタスクとして、動画タイトル生成を新たに提唱し、タイトル品質の向上のための2つの手法を提案する。1つは、重要なイベントを同時に局所化し、要約的で注目を集めるタイトルを生成するハイライト感受性キャプションであり、もう1つはダミー動画埋め込みを用いた文の拡張によって言語的多様性を向上させる手法である。本手法は新たに収集されたVTWデータセットにおいて最先端の性能を達成し、人的評価では59.5％の生成タイトルがベースラインを上回ることが確認された。

ABSTRACT

A great video title describes the most salient event compactly and captures the viewer's attention. In contrast, video captioning tends to generate sentences that describe the video as a whole. Although generating a video title automatically is a very useful task, it is much less addressed than video captioning. We address video title generation for the first time by proposing two methods that extend state-of-the-art video captioners to this new task. First, we make video captioners highlight sensitive by priming them with a highlight detector. Our framework allows for jointly training a model for title generation and video highlight localization. Second, we induce high sentence diversity in video captioners, so that the generated titles are also diverse and catchy. This means that a large number of sentences might be required to learn the sentence structure of titles. Hence, we propose a novel sentence augmentation method to train a captioner with additional sentence-only examples that come without corresponding videos. We collected a large-scale Video Titles in the Wild (VTW) dataset of 18100 automatically crawled user-generated videos and titles. On VTW, our methods consistently improve title prediction accuracy, and achieve the best performance in both automatic and human evaluation. Finally, our sentence augmentation method also outperforms the baselines on the M-VAD dataset.

研究の動機と目的

• 動画の完全な説明ではなく、要約的で注目を引く動画タイトルを生成する課題に対処すること。
• 未編集のユーザー生成動画における顕著な出来事（ハイライト）に注目できるように、動画キャプション生成モデルを最適化すること。
• 現実世界の使用状況において顕著に変動する動画タイトルの言語的多様性を向上させること。
• 対応する動画が存在しない文のみの例を用いて、動画キャプション生成モデルを訓練する手法を開発すること。
• 大規模かつオープンドメインの未編集のユーザー生成動画とそのタイトルを含むデータセットを構築・公開し、ベンチマーク用とする。

提案手法

• 未編集動画内の顕著な瞬間を局所化する動画キャプション生成モデルとハイライト検出器を同時に学習するハイライト感受性キャプション生成モデルを導入する。
• ハイライトの監視情報を用いて強化されたソフトアテンション機構を用い、タイトルが一般の動画内容ではなく、重要な出来事のみを記述するように保証する。
• 「ダミー動画観測」を用いた文の拡張技術を提案し、文のみの追加データでキャプション生成モデルを学習させ、言語モデルの多様性を向上させる。
• トレーニング中に、すべての拡張された文を1つのダミー動画埋め込みに割り当てることで、動画-タイトルペアと文のみの例の両方を用いて学習する。
• ウェブクロールドの文を追加のトレーニングデータとして活用し、タイトルにおける多様な言語的パターンを模倣する。
• 提案手法を用いて、既存の動画キャプション生成モデル（S2VTおよびSA）を微調整し、タイトル生成に適した形に変更する。

実験結果

リサーチクエスチョン

• RQ1 動画キャプション生成モデルは、完全な動画説明ではなく、要約的でハイライトに焦点を当てたタイトルを生成できるように適応可能か？
• RQ2 未編集動画における最も顕著な出来事の位置を特定し、その瞬間のみを記述するタイトルを生成できるモデルはどのように構築できるか？
• RQ3 動画の文脈なしに文のみのデータで学習することで、動画タイトルの言語的多様性を向上させられるか？
• RQ4 ダミー動画埋め込みを用いた文の拡張は、タイトル生成性能の向上に効果的か？
• RQ5 提案手法は、新たに作成されたVTWデータセット以外の動画記述データセットに対しても一般化可能か？

主な発見

• ハイライト感受性キャプション生成モデル（HL）は、自動評価および人的評価の両方で、通常のキャプション生成モデルを上回り、VTWデータセットで24.9％のCIDErおよび6.2％のMETEORを達成した。
• ハイライト感受性とウェブベースの文の拡張を組み合わせた手法（HL+Web Aug.）が最良の性能を示し、S2VTでは25.4％のCIDErおよび6.2％のMETEOR、SAでは25.1％のCIDErおよび5.7％のMETEORを達成した。
• 人的評価では、全手法（HL+Web Aug.）が生成したタイトルの59.5％がベースラインと同等以上であると判断された。
• 文の拡張手法はM-VADデータセットでも性能向上を示し、ベースラインのS2VT（6.7％のMETEOR）と比較して7.1％のMETEORを達成した。
• ハイライト検出器のmAPは、共同学習後、54.2％から58.3％に向上し、エンドツーエンド最適化の有効性が裏付けられた。
• 真のハイライトが存在しない状況でも、自動的に検出されたハイライトを用いて学習したモデル（HL-0）は22.4％のCIDErを達成しており、弱い教師信号に対しても頑健であることが示された。