[论文解读] An Attempt towards Interpretable Audio-Visual Video Captioning

Yapeng Tian, Chenxiao Guan+3 more|arXiv (Cornell University)|Dec 7, 2018

Multimodal Machine Learning Applications参考文献 49被引用 16

一句话总结

本文提出了一种用于音视频视频字幕生成的多模态卷积神经网络（MM-CNN），在生成每个词语时具备可解释的模态选择能力。通过引入具有定义激活能量的模态感知特征聚合模块，该模型能够识别在每个生成词时，视觉或音频特征中哪一个更具影响力，从而在实现最先进性能的同时，清晰揭示生成字幕中各模态的贡献。

ABSTRACT

Automatically generating a natural language sentence to describe the content of an input video is a very challenging problem. It is an essential multimodal task in which auditory and visual contents are equally important. Although audio information has been exploited to improve video captioning in previous works, it is usually regarded as an additional feature fed into a black box fusion machine. How are the words in the generated sentences associated with the auditory and visual modalities? The problem is still not investigated. In this paper, we make the first attempt to design an interpretable audio-visual video captioning network to discover the association between words in sentences and audio-visual sequences. To achieve this, we propose a multimodal convolutional neural network-based audio-visual video captioning framework and introduce a modality-aware module for exploring modality selection during sentence generation. Besides, we collect new audio captioning and visual captioning datasets for further exploring the interactions between auditory and visual modalities for high-level video understanding. Extensive experiments demonstrate that the modality-aware module makes our model interpretable on modality selection during sentence generation. Even with the added interpretability, our video captioning network can still achieve comparable performance with recent state-of-the-art methods.

研究动机与目标

• 为解决多模态视频字幕生成中音频与视觉特征以黑箱方式融合所导致的可解释性不足问题。
• 设计一种视频字幕框架，明确揭示生成句子中每个词语的贡献来源是音频模态还是视觉模态。
• 通过新收集的数据集，探索音频与视觉模态之间的高层语义相关性。
• 评估在无直接监督的情况下，一个模态是否能够推断出另一模态的高层语义。
• 证明可解释性可在不牺牲与最先进方法相比的性能的前提下实现。

提出的方法

• 提出一种无需循环解码器的多模态卷积神经网络（MM-CNN）架构，便于设计可解释的结构。
• 引入一种模态感知特征聚合模块，通过计算激活能量来确定每个词语生成步骤中的主导模态。
• 利用定义的激活能量分数，量化并可视化每个词语生成步骤中音频与视觉特征的贡献程度。
• 采用双分支编码器（音频与视觉）配合共享解码器头，从多模态特征生成自然语言描述。
• 收集新的音频字幕（AC）和视觉字幕（VC）数据集，以研究跨模态语义推断与模态交互。
• 使用标准字幕评估指标（BLEU、METEOR、ROUGE-L、CIDEr）在MSR-VTT和新AC/VC数据集上进行模型训练与评估。

实验结果

研究问题

• RQ1 我们能否设计一种视频字幕模型，明确揭示每个词语生成时是音频模态还是视觉模态更具影响力？
• RQ2 在视频理解等高层任务（如字幕生成）中，音频与视觉模态之间的语义相关性有多强？
• RQ3 在缺乏直接监督的情况下，听觉模态能否推断出高层视觉语义（如动作、事件），反之亦然？
• RQ4 在模态选择中引入可解释性是否会导致整体字幕生成性能相比黑箱融合方法下降？
• RQ5 网络深度（残差块数量）对多模态字幕生成中性能与泛化能力的影响如何？

主要发现

• 模态感知模块成功实现了可解释性，通过可视化（例如红色表示音频，蓝色表示视觉）清晰展示了每个生成词语中哪个模态更具影响力。
• 该模型在MSR-VTT数据集上表现具有竞争力，使用10个残差块时，BLEU-4达到42.2，METEOR为28.3，ROUGE-L为61.4，CIDEr为48.0。
• 10个残差块的模型优于5块和15块的变体，表明由于数据集规模限制，更深的网络并不总是能提升性能。
• V2A（视觉到音频）任务的性能略高于A2A（音频到音频）任务，表明视觉特征对音频字幕生成更具信息量，可能是因为视觉线索有助于音频理解。
• A2V（音频到视觉）任务的性能略低于V2A，但仍表现出有意义的性能，表明音频可以推断视觉语义，尽管效果不如视觉特征显著。
• 音频与视觉模态之间存在强相关性：视觉内容有助于推断音频事件（如唱歌），音频内容也有助于推断视觉事件（如说话、烹饪），即使在噪声条件下依然成立。