[论文解读] A Question-Answering framework for plots using Deep learning.

Revanth Reddy, Rahul Ramesh+2 more|arXiv (Cornell University)|Jun 12, 2018

Topic Modeling参考文献 14被引用 3

一句话总结

该论文提出了一种新颖的深度学习框架，用于在条形图和饼图上进行问题回答，通过联合识别图表元素、量化数值以及确定数值顺序来实现。该方法在FigureQA数据集上优于关系网络（Relation Networks）和CNN-LSTM基线模型，训练速度更快（在1张GPU上约2天），在视觉-视觉推理任务中展现出更优的推理能力与效率。

ABSTRACT

Deep Learning has managed to push boundaries in a wide variety of tasks. One area of interest is to tackle problems in reasoning and understanding, in an aim to emulate human intelligence. In this work, we describe a deep learning model that addresses the reasoning task of question-answering on bar graphs and pie charts. We introduce a novel architecture that learns to identify various plot elements, quantify the represented values and determine a relative ordering of these statistical values. We test our model on the recently released FigureQA dataset, which provides images and accompanying questions, for bar graphs and pie charts, augmented with rich annotations. Our approach outperforms the state-of-the-art Relation Networks baseline and traditional CNN-LSTM models when evaluated on this dataset. Our model also has a considerably faster training time of approximately 2 days on 1 GPU compared to the Relation Networks baseline

研究动机与目标

• 开发一种能够对条形图和饼图等视觉图表进行推理的深度学习模型。
• 提升在涉及图形数据定量推理的视觉问答任务中的性能。
• 解决现有模型（如关系网络和CNN-LSTM）在理解图表结构与数值关系方面的局限性。
• 在保持或提升准确率的同时，缩短训练时间。

提出的方法

• 该模型采用一种新颖的架构，用于检测和定位图表元素，如条形、扇区、标签和坐标轴。
• 通过端到端学习，从视觉特征中估计数值大小，实现对所表示数值的量化。
• 通过在检测到的元素上进行结构化推理，学习统计数值之间的相对顺序。
• 将视觉特征提取与推理模块相结合，联合优化元素检测与数值推理。
• 该架构在FigureQA数据集上通过监督学习进行端到端训练，数据集包含丰富的标注信息。
• 训练在单张GPU上进行，训练时间约为2天。

实验结果

研究问题

• RQ1 深度学习模型能否有效识别并推理条形图和饼图中的图表元素？
• RQ2 所提出的模型在视觉问答任务中与关系网络和CNN-LSTM基线模型相比性能如何？
• RQ3 该模型在保持或提升准确率的同时，能在多大程度上提升训练效率？
• RQ4 该模型能否准确地从视觉图表中推断出定量数值及其相对顺序？

主要发现

• 所提出的模型在FigureQA数据集上相比关系网络基线模型取得了更优的性能。
• 在推理视觉图表和回答复杂问题方面，优于传统的CNN-LSTM模型。
• 当在单张GPU上训练时，该模型将训练时间缩短至约2天，显著快于关系网络基线模型。
• 该框架在识别图表组件以及从视觉表示中推断数值方面展现出更优的泛化能力。