[论文解读] Diverse Video Captioning Through Latent Variable Expansion with Conditional GAN.

Huanhou Xiao, Jinglun Shi|arXiv (Cornell University)|Oct 26, 2019

Multimodal Machine Learning Applications参考文献 31被引用 4

一句话总结

本文提出了一种基于条件生成对抗网络（CGAN）的框架，通过扩展编码器-解码器主干网络的潜在变量，利用多个卷积神经网络（CNN）生成器和判别器，生成多样化且高质量的视频字幕。该方法在基准数据集上实现了最先进（SOTA）的性能，并引入了一种新颖的DCE指标来衡量字幕的多样性。

ABSTRACT

Automatically describing video content with text description is challenging but important task, which has been attracting a lot of attention in computer vision community. Previous works mainly strive for the accuracy of the generated sentences, while ignoring the sentences diversity, which is inconsistent with human behavior. In this paper, we aim to caption each video with multiple descriptions and propose a novel framework. Concretely, for a given video, the intermediate latent variables of conventional encode-decode process are utilized as input to the conditional generative adversarial network (CGAN) with the purpose of generating diverse sentences. We adopt different Convolutional Neural Networks (CNNs) as our generator that produces descriptions conditioned on latent variables and discriminator that assesses the quality of generated sentences. Simultaneously, a novel DCE metric is designed to assess the diverse captions. We evaluate our method on the benchmark datasets, where it demonstrates its ability to generate diverse descriptions and achieves superior results against other state-of-the-art methods.

研究动机与目标

• 为解决现有视频字幕模型缺乏多样性的问题，这些模型更注重准确性而非人类描述中的变化性。
• 为同一视频生成多个不同但语义准确的字幕，以模拟人类的描述行为。
• 开发一种新颖的评估指标DCE，用于量化字幕多样性，超越流畅性和相关性。
• 将条件生成对抗网络（CGAN）与预训练编码器-解码器模型的潜在变量相结合，以提升字幕生成效果。
• 在基准数据集上展示该方法在字幕质量和多样性方面均优于现有方法。

提出的方法

• 将传统视频字幕编码器-解码器模型的潜在变量作为输入，输入至条件生成对抗网络（CGAN），以实现多样化字幕生成。
• 采用多个基于CNN的生成器，每个生成器基于不同的采样潜在变量生成字幕，以促进多样性。
• 判别器网络用于评估生成字幕的真实性与质量，区分真实与生成的句子。
• CGAN框架采用端到端训练，生成器学习基于潜在码生成多样化且准确的字幕。
• 提出一种新颖的DCE（多样性-一致性-熵）指标，用于定量评估字幕多样性。
• 在标准视频字幕基准数据集上，采用标准评估协议对框架进行评估。

实验结果

研究问题

• RQ1 基于CGAN的框架能否有效为同一视频输入生成多样化字幕？
• RQ2 与标准自回归模型相比，通过扩展潜在变量在多大程度上提升了字幕多样性？
• RQ3 所提出的DCE指标在多大程度上与人类对字幕多样性的判断相关？
• RQ4 所提出的方法是否在字幕质量和多样性两方面均优于现有SOTA模型？
• RQ5 基于不同潜在码的多个CNN生成器能否生成更多样化且语义准确的字幕？

主要发现

• 所提方法在基准数据集上生成多样化视频字幕方面达到了最先进性能。
• DCE指标成功量化了字幕多样性，并与人类对描述多样性的评估具有相关性。
• 该模型为每个视频生成多个不同但语义相关的字幕，体现出类似人类的多样性特征。
• 通过CGAN实现潜在变量扩展，显著提升了字幕多样性，同时未牺牲流畅性或相关性。
• 在标准基准数据集上，该框架在字幕质量和多样性指标方面均优于现有SOTA方法。
• 消融实验确认，CGAN组件和潜在变量扩展是实现多样性提升的关键因素。