[论文解读] Chart-to-Text: Generating Natural Language Descriptions for Charts by Adapting the Transformer Model

Jason Obeid, Enamul Hoque|arXiv (Cornell University)|Oct 18, 2020

Data Visualization and Analytics被引用 9

一句话总结

本文引入了一个包含8,305对图表-摘要的新大规模数据集，并提出了一种基于Transformer的神经网络模型，通过在训练过程中用变量替换数据值，以提高事实一致性。该模型在内容选择方面优于强基线模型（55.42% vs. 8.49%），并生成了更具信息量、更简洁且更连贯的摘要，标志着首个专为图表摘要设计的数据驱动深度学习方法。

ABSTRACT

Information visualizations such as bar charts and line charts are very popular for exploring data and communicating insights. Interpreting and making sense of such visualizations can be challenging for some people, such as those who are visually impaired or have low visualization literacy. In this work, we introduce a new dataset and present a neural model for automatically generating natural language summaries for charts. The generated summaries provide an interpretation of the chart and convey the key insights found within that chart. Our neural model is developed by extending the state-of-the-art model for the data-to-text generation task, which utilizes a transformer-based encoder-decoder architecture. We found that our approach outperforms the base model on a content selection metric by a wide margin (55.42% vs. 8.49%) and generates more informative, concise, and coherent summaries.

研究动机与目标

• 解决图表摘要领域缺乏大规模、高质量数据集的问题。
• 开发一种神经网络模型，从图表生成信息丰富、简洁且连贯的自然语言摘要。
• 通过在训练过程中用变量替换数据值，提升图表到文本生成的事实正确性。
• 通过自动化、准确的摘要生成，提升视觉障碍用户对数据可视化内容的可及性。
• 基于深度学习建立一个新的数据驱动图表摘要基准。

提出的方法

• 该模型基于源自数据到文本生成模型的Transformer编码器-解码器架构进行改进。
• 采用数据变量替换方法，将真实摘要中的特定数据标记替换为占位符，以提升泛化能力和事实一致性。
• 在新整理的8,305对图表-摘要数据集上进行微调，数据集包含图表图像、底层数据表和人工编写的摘要。
• 使用位置嵌入以帮助模型追踪序列关系，提升生成摘要中的语篇结构。
• 通过人工评估来衡量生成摘要的信息量、简洁性和连贯性。
• 自动评估包括内容选择、BLEU、ROUGE和METEOR等指标，与Gong等人（2019）的基线模型进行比较。

实验结果

研究问题

• RQ1 数据驱动的深度神经网络模型是否能生成比基于模板或规划的方法更准确、更具信息量的图表摘要？
• RQ2 在训练过程中用变量替换数据值，对图表到文本生成的事实一致性有何影响？
• RQ3 位置嵌入在多大程度上提升了生成摘要的连贯性和结构？
• RQ4 该模型在训练数据有限的低资源领域中泛化能力如何？
• RQ5 所提出的模型是否能在内容选择和流畅性方面显著优于现有基线模型？

主要发现

• 所提模型在内容选择上达到55.42%的得分，显著优于基线模型（8.49%），能够更准确地识别并传达图表中的关键洞察。
• 人工评估确认，该模型生成的摘要在信息量、简洁性和连贯性方面均优于基线模型。
• 通过使用数据变量替换，模型减少了幻觉问题，生成了更符合事实的陈述。
• 位置嵌入改善了语篇结构，使摘要在句子层面的连贯性以及观点之间的衔接更加自然。
• 错误分析显示，幻觉问题主要源于错误的数据索引或生成无关标记，尤其在低资源领域更为明显。
• 在高覆盖度领域（如体育、金融）中，该模型表现更优，且生成的无关标记更少，尤其在训练数据充足时表现显著优于基线模型。