[论文解读] A Diagram Is Worth A Dozen Images

Aniruddha Kembhavi, Mike Salvato+4 more|arXiv (Cornell University)|Mar 24, 2016

Data Visualization and Analytics参考文献 36被引用 13

一句话总结

本文提出了一种用于图表理解的新颖框架，引入了图表解析图（DPG）来表示图表结构，并提出一种基于序列LSTM的模型（Dsdp-Net）进行句法解析。此外，还提出了Dqa-Net，一种基于DPG的注意力模型，用于图表问答，在新发布的包含5,000张图表和15,000个问题的AI2D数据集上实现了最先进性能。

ABSTRACT

Diagrams are common tools for representing complex concepts, relationships and events, often when it would be difficult to portray the same information with natural images. Understanding natural images has been extensively studied in computer vision, while diagram understanding has received little attention. In this paper, we study the problem of diagram interpretation and reasoning, the challenging task of identifying the structure of a diagram and the semantics of its constituents and their relationships. We introduce Diagram Parse Graphs (DPG) as our representation to model the structure of diagrams. We define syntactic parsing of diagrams as learning to infer DPGs for diagrams and study semantic interpretation and reasoning of diagrams in the context of diagram question answering. We devise an LSTM-based method for syntactic parsing of diagrams and introduce a DPG-based attention model for diagram question answering. We compile a new dataset of diagrams with exhaustive annotations of constituents and relationships for over 5,000 diagrams and 15,000 questions and answers. Our results show the significance of our models for syntactic parsing and question answering in diagrams using DPGs.

研究动机与目标

• 为计算机视觉中尚未充分探索的图表理解问题提供解决方案，特别是那些传达复杂关系的科学图表，超越自然图像的范畴。
• 将图表理解形式化为两个任务：句法解析（识别组成部分及其关系）与语义理解（映射到现实世界概念）。
• 开发一种新型表示方法——图表解析图（DPG），以编码图表中的结构与关系信息。
• 构建一个大规模、丰富标注的数据集AI2D，包含5,000张图表、15,000个问题以及用于训练与评估的完整DPG标注。
• 设计并评估模型——Dsdp-Net用于解析，Dqa-Net用于问答——通过利用DPG提升对图表的推理能力。

提出的方法

• 提出图表解析图（DPG）作为结构化表示，使用节点与边来建模图表组成部分及其关系。
• 开发Dsdp-Net，一种基于序列LSTM的模型，通过可微分、自回归方式逐步预测并添加节点与边，以增量式构建DPG。
• 采用受强化学习启发的方法，借助奖励模型引导Dsdp-Net策略，结合随机森林模型对候选添加项进行排序，并利用到目标的距离函数进行优化。
• 提出Dqa-Net，一种神经网络模型，通过软注意力机制关注相关的DPG组件，结合问题嵌入（通过LSTM）与DPG表示，实现图表问答。
• 使用交叉熵损失与随机梯度下降训练Dqa-Net，采用预训练的GloVe嵌入和VGG-19特征分别进行图像与文本编码。
• 使用图的Jaccard指数（JIG）评估解析性能，使用标准准确率评估问答性能，并进行严格的消融研究与基线比较。

实验结果

研究问题

• RQ1 像DPG这样的结构化图表示能否有效建模科学图表的句法与语义结构？
• RQ2 基于序列的自回归深度学习模型（Dsdp-Net）能否在将图表解析为DPG的过程中超越贪婪或搜索基线方法？
• RQ3 通过DPG引入图表特有的关系结构，是否能提升图表问答性能，相比标准视觉问答方法？
• RQ4 Dsdp-Net与Dqa-Net在具有高类内差异性的多样化图表类型（如水循环图或食物网图）上的性能表现如何？
• RQ5 DPG表示在多大程度上能够捕捉高层次推理能力，例如在生态或物理系统中推断间接效应？

主要发现

• Dsdp-Net在测试集上取得了最高的图的Jaccard指数（JIG）得分，显著优于贪婪搜索与A*基线方法，在图表句法解析任务中表现更优。
• Dsdp-Net通过利用序列建模与上下文感知的LSTM预测，提升了解析性能，证明了结构化、增量式解析方法的优势。
• 当在VQA数据集与AI2D数据集上同时训练时，Dqa-Net在图表问答任务上的准确率高于强基线模型（LSTM Q+I），表明DPG感知注意力机制的有效性。
• 定性结果表明，Dqa-Net能正确关注DPG中的相关节点与边，例如表示流向的箭头或食物网中的“捕食”关系，表明其具备正确的语义对齐能力。
• 消融研究证实，DPG表示对推理至关重要，直接从图像回归DPG无法产生有意义的结果。
• AI2D数据集的发布，包含5,000张图表、15,000个问题及完整的DPG标注，为未来图表理解研究提供了强有力的基准。