[论文解读] Factor Graph Attention

Idan Schwartz, Seunghak Yu+2 more|arXiv (Cornell University)|Apr 11, 2019

Multimodal Machine Learning Applications参考文献 61被引用 14

一句话总结

本文提出因子图注意力（Factor Graph Attention, FGA），一种用于视觉对话的通用注意力机制，通过因子图形式整合多种数据源——图像、问题、历史记录、描述和回答——以建模复杂交互关系。该方法在 VisDial0.9 上将 MRR 提升 1.1%，在 VisDial1.0 上提升 2%，使用集成模型时在 VisDial1.0 上性能提升超过 6%。

ABSTRACT

Dialog is an effective way to exchange information, but subtle details and nuances are extremely important. While significant progress has paved a path to address visual dialog with algorithms, details and nuances remain a challenge. Attention mechanisms have demonstrated compelling results to extract details in visual question answering and also provide a convincing framework for visual dialog due to their interpretability and effectiveness. However, the many data utilities that accompany visual dialog challenge existing attention techniques. We address this issue and develop a general attention mechanism for visual dialog which operates on any number of data utilities. To this end, we design a factor graph based attention mechanism which combines any number of utility representations. We illustrate the applicability of the proposed approach on the challenging and recently introduced VisDial datasets, outperforming recent state-of-the-art methods by 1.1% for VisDial0.9 and by 2% for VisDial1.0 on MRR. Our ensemble model improved the MRR score on VisDial1.0 by more than 6%.

研究动机与目标

• 解决在视觉对话中建模细微差别与细节的挑战，需有效整合多种数据源（图像、问题、历史记录、描述、回答）。
• 克服现有注意力机制通常仅处理可用数据源子集的局限性。
• 开发一种通用且可扩展的注意力框架，以结构化且可解释的方式组合任意数量的数据源。
• 通过在所有可用数据源（包括历史记录和回答选项）上进行细粒度注意力，提升 VisDial 基准测试的性能。
• 证明所提方法在视觉对话之外的灵活性与有效性，展示其在 VQA 和 AVSD 任务中的性能提升。

提出的方法

• 使用因子图形式化注意力机制，其中节点代表数据源（如图像、问题、历史记录、描述、回答），边代表它们之间的交互关系。
• 采用消息传递过程在不同数据源间聚合信息，使模型能够推理复杂依赖关系与细微线索。
• 为每种数据源分别设置注意力头，包括对回答和历史记录中单个词语的细粒度注意力，以捕捉细微上下文信息。
• 将自下而上的目标提议（如 36 个区域特征）作为图像表征，以提升定位与推理能力。
• 设计一种多头注意力机制，联合作用于所有数据源，注意力权重基于因子图中查询与键的交互关系计算得出。
• 支持端到端训练，采用交叉熵损失和 MRR 优化目标联合优化注意力头与预测头。

实验结果

研究问题

• RQ1 统一的注意力机制能否有效整合视觉对话中的多种数据源（图像、问题、历史记录、描述、回答）以提升性能？
• RQ2 对单个回答选项及历史问答对进行细粒度注意力，相比标准历史注意力，如何提升模型的推理能力？
• RQ3 通过因子图建模所有数据源之间的交互关系，在多大程度上能提升视觉对话的可解释性与性能？
• RQ4 所提出的注意力机制能否泛化至视觉对话之外的其他多模态任务（如 VQA 和 AVSD）？
• RQ5 不同数据源（如描述、回答）在注意力模式与模型行为中发挥何种作用，特别是在模糊或细微情境下？

主要发现

• 所提出的因子图注意力机制在 VisDial0.9 上相比之前最先进方法将 MRR 提升 1.1%，在 VisDial1.0 上提升 2%。
• 使用 FGA 的集成模型在 VisDial1.0 上的 MRR 分数比之前最佳方法高出超过 6%。
• 从注意力机制中移除回答数据源后，MRR 从 0.6525 显著下降至 0.6294，证明其在建模对话上下文中的关键作用。
• 对单个回答词语实施细粒度注意力后，MRR 从 0.6494 提升至 0.6525，表明与回答选项的详细交互具有显著优势。
• 在 VQA v1.0 任务中，将标准注意力替换为 FGA 后，准确率从 57.0 提升至 57.3，实现 0.3% 的提升，表明其具备更广泛的应用潜力。
• 在 AVSD 任务中，FGA 机制通过在统一框架中有效关注视频、音频与问题特征，将 CIDEr 分数从 0.733 提升至 0.806。