[論文レビュー] Beyond Caption To Narrative: Video Captioning With Multiple Sentences

Andrew Shin, Katsunori Ohnishi+1 more|arXiv (Cornell University)|May 18, 2016

Multimodal Machine Learning Applications参考文献 29被引用数 6

ひとこと要約

本稿では、アクションロケーションを用いて動画をセグメント化し、複数の記述的文を生成する物語風動画キャプション手法を提案する。NLP技術を用いてキャプションを接続することで、動画レベルの特徴に依存せず、単一フレームベースの手法よりも豊かでダイナミックなキャプションを生成する。最先端の手法と同等の性能を達成している。

ABSTRACT

Recent advances in image captioning task have led to increasing interests in video captioning task. However, most works on video captioning are focused on generating single input of aggregated features, which hardly deviates from image captioning process and does not fully take advantage of dynamic contents present in videos. We attempt to generate video captions that convey richer contents by temporally segmenting the video with action localization, generating multiple captions from multiple frames, and connecting them with natural language processing techniques, in order to generate a story-like caption. We show that our proposed method can generate captions that are richer in contents and can compete with state-of-the-art method without explicitly using video-level features as input.

研究の動機と目的

• 単一文の画像キャプション手法を越えて、より豊かな物語的動画キャプションを生成すること。
• 動的で変化に富んだ動画コンテンツを捉えるために、単一の集約された動画特徴の限界を克服すること。
• 時間的にセグメント化された動画行動から、一貫性があり物語的スタイルの複数文を生成する手法を開発すること。
• 物語的整合性を確保するため、動画レベルの特徴や外部テキストデータに依存しないこと。

提案手法

• ショット/シーン遷移ではなく、アクションの変化に基づいて、アクションロケーションを用いて動画を時間的にセグメント化する。
• 各アクションセグメントの中央フレームからCNN特徴（VGG-16 fc7）を抽出し、キャプション生成に使用する。
• MS COCOで微調整されたLSTMモデルを用いて、各セグメントごとに個別にキャプションを生成する。
• 自然言語処理技術を適用して、複数のキャプションを滑らかで物語的のような文章に接続する。
• アクションロケーションの過程で、Fisherベクトル符号化をPCAとL2正規化を用いて動画レベルの表現を生成する。
• キャプションモデルへの入力として動画レベルの特徴を使用せず、フレームレベルのCNN特徴のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 複数文のキャプション生成によって、単一文のキャプションよりも動画キャプションの品質が向上するか？
• RQ2 ショット/シーンベースのセグメンテーションと比較して、アクションベースの時間的セグメンテーションは、より一貫性があり内容豊かな動画キャプションをもたらすか？
• RQ3 外部テキストデータを用いずに、独立して生成されたキャプションにNLP技術を適用することで、物語的整合性を達成できるか？
• RQ4 明示的な動画レベルの特徴を用いないにもかかわらず、動画キャプションで最先端の性能を達成できるか？
• RQ5 編集頻度が低い非映画系動画において、本手法はどのように性能を発揮するか？

主な発見

• 提案手法は、すべてのデータセットおよび評価指標で単一フレームベースラインを上回り、コンテンツの豊かさが向上していることが示された。
• 最先端の手法よりも約4倍長いキャプションを生成しても、BLEU、ROUGE、CIDErスコアは同等を維持しており、コンテンツの忠実性が高く保たれていることが示された。
• MSVDデータセットでは、ベースラインよりも高いCIDErおよびROUGEスコアを達成しており、人間がアノテートしたキャプションとの整合性が向上していることが確認された。
• 編集頻度が低いYouTube動画のMSVDサブセットにおいても、本手法は大多数の指標で単一フレームアプローチを上回っており、映画クリップにとどまらない堅牢性が示された。
• 定性的な結果から、生成されたキャプションが一貫性があり物語的のような文章を形成しており、文の間のスムーズな遷移が確認された。
• 動画レベルの特徴を一切使用せず、フレームレベルの特徴とセグメンテーション、NLPの組み合わせにより、より情報豊かなキャプションを生成できることを実証した。