[论文解读] Adaptive Feature Abstraction for Translating Video to Text

Yunchen Pu, Martin Renqiang Min+2 more|arXiv (Cornell University)|Nov 23, 2016

Multimodal Machine Learning Applications被引用 5

一句话总结

该论文提出了一种用于视频字幕生成的双注意力特征表示（dualAFR）模型，通过一种新颖的注意力机制，自适应地选择多个3D卷积神经网络（3D CNN）层以及每层内局部时空区域的特征。通过采用3D卷积变换进行特征对齐，并引入动态层级注意力机制，该模型在YouTube2Text、M-VAD和MSR-VTT数据集上实现了当前最优性能，优于使用固定层特征或单层次注意力的方法。

ABSTRACT

Previous models for video captioning often use the output from a specific layer of a Convolutional Neural Network (CNN) as video features. However, the variable context-dependent semantics in the video may make it more appropriate to adaptively select features from the multiple CNN layers. We propose a new approach for generating adaptive spatiotemporal representations of videos for the captioning task. A novel attention mechanism is developed, that adaptively and sequentially focuses on different layers of CNN features (levels of feature "abstraction"), as well as local spatiotemporal regions of the feature maps at each layer. The proposed approach is evaluated on three benchmark datasets: YouTube2Text, M-VAD and MSR-VTT. Along with visualizing the results and how the model works, these experiments quantitatively demonstrate the effectiveness of the proposed adaptive spatiotemporal feature abstraction for translating videos to sentences with rich semantics.

研究动机与目标

• 为解决视频字幕生成中固定层CNN特征的局限性，即无法捕捉跨抽象层级的上下文相关语义。
• 实现对特征抽象层级（CNN层）和特征图内时空位置的动态、上下文感知选择。
• 克服由于维度不匹配、特征错位以及层间语义差异导致的多层级3D CNN特征比较难题。
• 通过在端到端框架中整合分层自适应特征抽象与时空注意力机制，提升视频字幕生成性能。
• 通过自动指标和人工评估，证明所提方法在性能上显著优于固定层和多层级基线方法。

提出的方法

• 提出一种双注意力机制，联合关注不同CNN层（即抽象层级）以及每层特征图内的局部时空区域。
• 采用3D卷积变换在空间和时间维度上对齐不同C3D层的特征，实现跨层比较。
• 使用软注意力或硬注意力机制，根据当前解码步骤和上下文动态加权来自多层的特征。
• 采用3D卷积神经网络（C3D）作为视频编码器，提取丰富的时空特征，并利用中间层实现多层级抽象。
• 采用编码器-解码器架构，其中解码器（LSTM）在生成单词时关注自适应的多层级特征。
• 实现可学习的注意力机制，为每层和每个空间位置计算上下文相关的权重，提升特征的相关性。

实验结果

研究问题

• RQ1 与固定层特征提取相比，对特征抽象层级（CNN层）进行自适应选择是否能提升视频字幕生成性能？
• RQ2 同时关注不同层和局部时空区域是否能增强生成字幕的语义丰富度与对齐程度？
• RQ3 3D卷积变换如何提升跨层特征的一致性，并实现有效的多层级注意力？
• RQ4 所提模型是否能超越现有方法（如超列和单层注意力基线）的多层级特征方法？
• RQ5 从定性分析和人工评估来看，该模型的注意力机制在多大程度上反映了人类感知的特性？

主要发现

• dualAFR模型在YouTube2Text、M-VAD和MSR-VTT数据集上均达到当前最优性能，使用硬注意力（集成）时CIDEr得分达到51.41，超越所有基线方法。
• 在MSR-VTT数据集上，模型BLEU-4得分为45.01，METEOR得分为29.98，较最佳基线（C3D fc7 + pool4）高出4.18个BLEU-4点。
• 在YouTube2Text数据集的人工评估中，dualAFR在相关性（27.53%）和连贯性（6.49%）方面优于最强基线，67.69%的比较结果无法区分。
• 定性分析表明，抽象层级注意力与语言结构一致——对名词关注低层特征，对冠词、介词等功能词则关注高层特征。
• 模型显著优于单层特征基线（如C3D fc7 + pool4）和多层级方法（如超列），证明了自适应层选择的价值。
• 与基于MLP的特征投影相比，3D卷积变换通过稀疏连接减少了参数量，并提升了泛化能力。