[論文レビュー] Diverse Video Captioning Through Latent Variable Expansion with Conditional GAN.

Huanhou Xiao, Jinglun Shi|arXiv (Cornell University)|Oct 26, 2019

Multimodal Machine Learning Applications参考文献 31被引用数 4

ひとこと要約

本論文は、エンコーダデコーダーベースのバックボーンから得られる潜在変数を拡張することで、多様な動画キャプションを生成する条件付きGANベースのフレームワークを提案する。複数のCNN生成器と識別器を用いることで、多様で高品質なキャプションを生成する。本手法は、キャプションの多様性を測る新しいDCE指標を導入し、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

Automatically describing video content with text description is challenging but important task, which has been attracting a lot of attention in computer vision community. Previous works mainly strive for the accuracy of the generated sentences, while ignoring the sentences diversity, which is inconsistent with human behavior. In this paper, we aim to caption each video with multiple descriptions and propose a novel framework. Concretely, for a given video, the intermediate latent variables of conventional encode-decode process are utilized as input to the conditional generative adversarial network (CGAN) with the purpose of generating diverse sentences. We adopt different Convolutional Neural Networks (CNNs) as our generator that produces descriptions conditioned on latent variables and discriminator that assesses the quality of generated sentences. Simultaneously, a novel DCE metric is designed to assess the diverse captions. We evaluate our method on the benchmark datasets, where it demonstrates its ability to generate diverse descriptions and achieves superior results against other state-of-the-art methods.

研究の動機と目的

• 既存の動画キャプションモデルにおける多様性の欠如に取り組む。これらは記述の正確性を重視し、人間の記述行動に類似したバリエーションを欠いている。
• 1つの動画に対して複数の明確に異なる、文脈的に正確なキャプションを生成し、人間の記述行動を模倣する。
• 文法的正確性や関連性を超えて、キャプションの多様性を定量化する新しい評価指標DCEを開発する。
• 事前学習済みのエンコーダデコーダーモデルから得られる条件付きGANと潜在変数を統合し、キャプション生成を向上させる。
• 標準ベンチマークデータセットにおいて、キャプションの品質と多様性の両面で優れた性能を示す。

提案手法

• 従来の動画キャプションエンコーダデコーダーモデルから得られる潜在変数を、条件付きGAN（CGAN）の入力として用い、多様なキャプション生成を可能にする。
• 複数のCNNベースの生成器を採用し、それぞれ異なるサンプリング済みの潜在変数に条件づけられたキャプションを生成することで、多様性を促進する。
• 識別器ネットワークは、生成されたキャプションの現実性と品質を評価し、本物の文と生成された文を区別する。
• CGANフレームワークはエンドツーエンドで訓練され、生成器は潜在コードに条件づけられた多様で正確なキャプションを生成するように学習する。
• キャプションの多様性を定量的に評価するための新しいDCE（多様性・一貫性・エントロピー）指標を導入する。
• 標準的な動画キャプションベンチマークと標準的な評価プロトコルを用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 CGANベースのフレームワークは、同じ動画入力に対して多様なキャプションを効果的に生成できるか？
• RQ2 標準的な自己回帰モデルと比較して、拡張された潜在変数の使用がキャプションの多様性をどのように向上させるか？
• RQ3 提案されたDCE指標は、人間によるキャプション多様性の評価とどの程度相関しているか？
• RQ4 提案手法は、キャプションの品質と多様性の両面で、既存の最先端手法を上回るか？
• RQ5 異なる潜在コードに条件づけられた複数のCNN生成器は、より多様で文脈的に正確なキャプションを生成できるか？

主な発見

• 提案手法は、ベンチマークデータセットにおいて、多様な動画キャプションを生成する点で最先端の性能を達成した。
• DCE指標はキャプションの多様性を効果的に定量化でき、人間による記述のバリエーション評価と相関していた。
• モデルは1つの動画に対して複数の明確に異なる、文脈的に関連性のあるキャプションを生成し、人間の記述行動に類似した多様性を示した。
• CGANによる潜在変数の拡張は、流暢さや関連性を損なわずに、キャプションの多様性を顕著に向上させた。
• 標準ベンチマークにおいて、本フレームワークは、キャプションの品質と多様性の両方の指標で、既存のSOTA手法を上回った。
• アブレーションスタディにより、CGANコンponentsと潜在変数の拡張が多様性の向上に不可欠であることが確認された。