[论文解读] Entropy-Enhanced Multimodal Attention Model for Scene-Aware Dialogue Generation

Kuan-Yen Lin, Chao-Chun Hsu+2 more|arXiv (Cornell University)|Aug 22, 2019

Multimodal Machine Learning Applications参考文献 21被引用 18

一句话总结

本文提出了一种熵增强的动态记忆网络（DMN），通过利用视频、对话历史、摘要和字幕，提升场景感知对话生成性能。通过将熵正则化整合到DMN的注意力机制中，模型能够更精确地聚焦于相关视频片段，在AVSD挑战赛中，无论主观还是客观指标上，均优于基线模型。

ABSTRACT

With increasing information from social media, there are more and more videos available. Therefore, the ability to reason on a video is important and deserves to be discussed. TheDialog System Technology Challenge (DSTC7) (Yoshino et al. 2018) proposed an Audio Visual Scene-aware Dialog (AVSD) task, which contains five modalities including video, dialogue history, summary, and caption, as a scene-aware environment. In this paper, we propose the entropy-enhanced dynamic memory network (DMN) to effectively model video modality. The attention-based GRU in the proposed model can improve the model's ability to comprehend and memorize sequential information. The entropy mechanism can control the attention distribution higher, so each to-be-answered question can focus more specifically on a small set of video segments. After the entropy-enhanced DMN secures the video context, we apply an attention model that in-corporates summary and caption to generate an accurate answer given the question about the video. In the official evaluation, our system can achieve improved performance against the released baseline model for both subjective and objective evaluation metrics.

研究动机与目标

• 通过在注意力机制中引入熵正则化，提升多模态对话系统中的视频理解能力。
• 提升模型聚焦于显著视频片段的能力，以实现准确的回复生成。
• 利用对话历史、字幕和摘要作为互补模态，丰富场景感知回复的上下文信息。
• 通过促进集中且信息量丰富的注意力分布，解决视频建模中注意力分布稀疏的问题。
• 通过统一的多模态注意力框架，在AVSD基准上实现最先进性能。

提出的方法

• 采用基于注意力机制的GRU的动态记忆网络（DMN），用于建模连续视频帧并捕捉位置信息。
• 在损失函数中引入熵正则化，以集中注意力于更小且更相关的视频片段集合。
• 通过注意力机制融合多模态输入（视频、对话历史、摘要和字幕），用于生成回复。
• 应用情景记忆模块，以在多个推理步骤中存储和检索相关信息，应对复杂问题。
• 使用交叉熵损失与熵正则化进行端到端训练，以提升注意力分布的集中度。
• 将对话历史作为数据增强手段，以提升上下文理解与回复质量。

实验结果

研究问题

• RQ1 熵正则化能否改善基于视频的对话系统中的注意力集中度？
• RQ2 对话历史、摘要和字幕的引入在场景感知对话生成中如何影响回复准确性？
• RQ3 所提出的熵增强DMN在AVSD基准上相较于基线模型的性能提升程度如何？
• RQ4 当提供视频模态时，模型生成的回复是否比省略视频时更具上下文准确性？
• RQ5 为平衡性能与计算成本，情景记忆单元的最优数量是多少？

主要发现

• 所提系统在AVSD挑战赛的主观与客观评估指标上均优于官方基线模型。
• 视频模态的引入显著提升了回复质量：当提供视频时，模型正确将场景识别为厨房，而无视频版本则错误地将其标记为客厅。
• 熵正则化使注意力分布更加集中，提升了模型聚焦于相关视频片段的能力。
• 使用三个情景记忆单元的模型相较于两个单元仅带来微小的性能增益，但训练与推理时间显著增加。
• 定性分析表明，当提供视频时，模型生成的回复更具信息量且上下文更准确，尤其在空间与环境相关问题上表现更优。
• 尽管训练数据存在模糊或通用的真实标签问题，模型仍表现出稳健性能，表明其具备良好的泛化能力。