[论文解读] Figure Captioning with Reasoning and Sequence-Level Training

Charles Chen, Ruiyi Zhang+6 more|arXiv (Cornell University)|Jun 7, 2019

Multimodal Machine Learning Applications参考文献 43被引用 7

一句话总结

本文提出了FigCAP，一个用于图表描述的新数据集，并提出了两种新颖的注意力机制——标签图注意力（Label Maps Attention）用于精确聚焦标签，关系图注意力（Relation Maps Attention）用于建模图表标签之间的关系。此外，通过采用序列级强化学习训练，减轻了暴露偏差，提升了长序列描述生成性能，在高层次和细节描述任务上均显著优于基线模型。

ABSTRACT

Figures, such as bar charts, pie charts, and line plots, are widely used to convey important information in a concise format. They are usually human-friendly but difficult for computers to process automatically. In this work, we investigate the problem of figure captioning where the goal is to automatically generate a natural language description of the figure. While natural image captioning has been studied extensively, figure captioning has received relatively little attention and remains a challenging problem. First, we introduce a new dataset for figure captioning, FigCAP, based on FigureQA. Second, we propose two novel attention mechanisms. To achieve accurate generation of labels in figures, we propose Label Maps Attention. To model the relations between figure labels, we propose Relation Maps Attention. Third, we use sequence-level training with reinforcement learning in order to directly optimizes evaluation metrics, which alleviates the exposure bias issue and further improves the models in generating long captions. Extensive experiments show that the proposed method outperforms the baselines, thus demonstrating a significant potential for the automatic captioning of vast repositories of figures.

研究动机与目标

• 为解决自动图表描述这一研究不足的问题，该问题需要理解图表中的视觉数据、标签及相互关系。
• 基于FigureQA构建一个新且大规模的数据集（FigCAP），以支持图表描述研究。
• 开发针对图表独特结构（如带标签的数据点和关系模式）的注意力机制。
• 通过序列级强化学习减轻暴露偏差，提升长序列描述生成性能。

提出的方法

• 提出标签图注意力机制，通过将标签位置和数值编码为注意力图，使解码器能够聚焦于图表中的特定标签。
• 引入关系图注意力机制，利用学习到的关系特征建模标签之间的逻辑关系（如“柱状图A高于柱状图B”）。
• 采用序列级训练策略，结合强化学习，直接在训练过程中优化CIDEr、BLEU、METEOR和ROUGE等指标。
• 采用编码器-解码器框架，结合CNN和LSTM组件，从图表中提取视觉特征，并将其解码为自然语言描述。
• 在强化学习中采用策略梯度方法，根据完整描述序列的累积奖励更新模型。
• 在验证集上调整超参数，并使用标准自动评估指标在测试集上评估性能。

实验结果

研究问题

• RQ1 基于FigureQA构建的新数据集能否提升图表描述模型的性能与可复现性？
• RQ2 专用注意力机制——标签图注意力与关系图注意力，在捕捉图表中的标签特异信息与关系信息方面效果如何？
• RQ3 序列级训练结合强化学习在多大程度上能减轻暴露偏差，并改善图表描述中的长文本生成？
• RQ4 关系推理与标签感知注意力的结合是否能在详细图表描述上带来可测量的生成质量提升？

主要发现

• 标签图注意力在高层次和细节描述任务中均显著提升了描述生成性能，证明了聚焦图表特定标签的价值。
• 关系图注意力在细节描述任务中带来显著提升，尤其在需要关系描述（如比较性数值）时效果更明显。
• 序列级强化学习训练有效减轻了暴露偏差，并提升了长描述的性能，尤其在FigCAP-D数据集上表现突出。
• 标签图注意力、关系图注意力与强化学习训练的结合在CIDEr、BLEU、METEOR和ROUGE等多个指标上均达到当前最优性能。
• 采用Att_F、Att_L和Att_R并结合强化学习（F+Att_L+Att_R+RL）的模型优于所有基线模型，证实了所提组件之间的协同增益。
• 当使用复杂注意力机制时，高层次描述与细节描述之间的性能差距更大，表明细节描述更具挑战性，且更受益于关系建模。