[论文解读] ChartQA: A Benchmark for Question Answering about Charts with Visual and Logical Reasoning

Ahmed Masry, Do Xuan Long+3 more|arXiv (Cornell University)|Mar 19, 2022

Data Visualization and Analytics被引用 13

一句话总结

本文提出 ChartQA，一个大规模基准数据集，包含 9,608 个由人类编写的题目和 23,111 个机器生成的题目，聚焦于对现实世界图表的视觉与逻辑推理。该研究提出一种统一的基于 Transformer 的模型，结合图表中的视觉特征与自动提取的数据表，实现了最先进性能，同时突显了在处理复杂推理与视觉引用方面仍存在的持久挑战。

ABSTRACT

Charts are very popular for analyzing data. When exploring charts, people often ask a variety of complex reasoning questions that involve several logical and arithmetic operations. They also commonly refer to visual features of a chart in their questions. However, most existing datasets do not focus on such complex reasoning questions as their questions are template-based and answers come from a fixed-vocabulary. In this work, we present a large-scale benchmark covering 9.6K human-written questions as well as 23.1K questions generated from human-written chart summaries. To address the unique challenges in our benchmark involving visual and logical reasoning over charts, we present two transformer-based models that combine visual features and the data table of the chart in a unified way to answer questions. While our models achieve the state-of-the-art results on the previous datasets as well as on our benchmark, the evaluation also reveals several challenges in answering complex reasoning questions.

研究动机与目标

• 解决现有 ChartQA 数据集的局限性，这些局限包括依赖模板化问题、固定词汇表答案以及使用合成图表。
• 创建一个真实场景的基准，包含涉及复杂推理与图表元素视觉引用的人类撰写题目。
• 开发一种统一模型，整合视觉特征与提取的数据表，以提升对图表的推理能力。
• 评估在处理嵌套操作与视觉组合性问题时，视觉与逻辑推理所面临的挑战。

提出的方法

• 该基准基于从四个公共数据仓库获取的 20,882 幅真实世界图表构建，以确保视觉与主题多样性。
• 通过众包方式收集了 9,608 个由人类编写的题目，并采取伦理保障措施；此外，还利用微调后的 T5 模型，从人类摘要中生成了 23,111 个额外题目。
• 采用数据提取流水线，使用改进版 ChartOCR 从图表图像中提取底层数据表。
• 利用神经网络模型提取视觉特征，并将这些特征与数据表结合，形成统一表示，输入至基于 Transformer 的问答模型。
• 对两种基于 Transformer 的模型——VisionTaPas 与 VL-T5——进行适配，使其能够联合处理视觉特征与表格数据以完成问答任务。
• 在现有数据集与新的 ChartQA 基准上对模型进行训练与评估，以衡量其在复杂推理任务上的泛化能力与性能表现。

实验结果

研究问题

• RQ1 现有模型在处理涉及现实世界图表中视觉与逻辑操作的复杂、人类编写的推理问题时，表现如何？
• RQ2 一种结合视觉特征与提取数据表的统一模型，是否能优于仅依赖表格数据或视觉特征的模型？
• RQ3 在处理嵌套算术运算与视觉引用时，推理的关键失败模式是什么？
• RQ4 数据提取质量如何影响视觉推理任务的整体模型性能？
• RQ5 当前模型在处理涉及视觉属性（如颜色、线型或峰值数值）的开放词汇、自然语言问题时，其困难程度如何？

主要发现

• 所提出的结合视觉特征与提取数据表的统一模型，在现有数据集与新的 ChartQA 基准上均实现了最先进性能。
• 当题目涉及通过视觉属性（如颜色、线型）引用图表元素时，性能显著下降，表明视觉定位是关键挑战。
• 模型在处理嵌套逻辑操作（如按顺序执行多个算术步骤）时表现不佳，凸显了推理组合能力的局限性。
• 当未提供真实数据表时，模型性能下降，凸显了从图表中准确提取数据的至关重要性。
• VisionTapas 与 VL-T5 在柱状图上表现更优，但在饼图上性能下降，原因在于数据提取错误率更高，揭示了对更优视觉数据提取流水线的迫切需求。