[论文解读] Generating Logical Forms from Graph Representations of Text and Entities

Peter Shaw, Philip Massey+3 more|arXiv (Cornell University)|May 21, 2019

Topic Modeling参考文献 54被引用 6

一句话总结

本文提出一种基于图神经网络（GNN）的架构，将文本标记、实体候选及其关系整合到统一的图结构中，以提升语义解析性能。通过利用自注意力机制和复制机制，该模型无需预消歧的实体即可生成准确的逻辑形式，在Geo、ATIS和Spider数据集上均达到最先进性能，尤其在结合BERT预训练时表现更优。

ABSTRACT

Structured information about entities is critical for many semantic parsing tasks. We present an approach that uses a Graph Neural Network (GNN) architecture to incorporate information about relevant entities and their relations during parsing. Combined with a decoder copy mechanism, this approach provides a conceptually simple mechanism to generate logical forms with entities. We demonstrate that this approach is competitive with the state-of-the-art across several tasks without pre-training, and outperforms existing approaches when combined with BERT pre-training.

研究动机与目标

• 通过在逻辑形式生成过程中引入关于实体及其关系的结构化知识，提升语义解析性能。
• 解决现有序列到序列模型将实体视为占位符或单独后处理所带来的局限性。
• 利用统一的图表示，实现对模糊或冲突的实体候选与自然语言输入的联合建模。
• 提供一种概念上简单但高效的机制，通过复制机制与GNN条件化，生成具有语境依据的逻辑形式。
• 评估实体跨度与实体间关系对多种语义解析任务中解析准确率的影响。

提出的方法

• 该模型构建一个异构图，包含输入标记、实体候选及其成对关系，边标签编码相对位置与跨度隶属关系。
• 采用基于Transformer自注意力机制的GNN架构，通过聚合邻居信息（包括标记与实体）来更新节点表示。
• 边表示采用加法向量而非学习矩阵实现，减少参数量的同时保持性能。
• 解码器使用复制机制，将输入图中的实体直接复制到输出逻辑形式中，实现精准定位。
• 模型通过最大化给定输入语句与实体图下真实逻辑形式的似然性进行训练。
• 为提升性能，模型将BERT嵌入作为输入特征，但需仔细调整超参数以获得最佳效果。

实验结果

研究问题

• RQ1 基于GNN的架构能否在无需预消歧的情况下，有效整合实体候选及其关系用于语义解析？
• RQ2 对实体跨度与实体间关系的建模，如何影响不同语义解析任务中的解析准确率？
• RQ3 在所提出的基于图的解析框架中，引入BERT预训练表示能在多大程度上提升性能？
• RQ4 相较于更复杂的可学习边变换，采用简单的加法边表示是否在准确率与参数效率方面更具优势？
• RQ5 在泛化到未见实体与表格方面，该方法与现有最先进方法相比表现如何？

主要发现

• 所提出的GNN模型在Geo、ATIS和Spider数据集上无需使用预训练模型即达到具有竞争力的性能，Geo数据集准确率达89.3%，ATIS数据集达87.1%。
• 在结合BERT预训练后，该模型在Spider数据集上的绝对准确率相比Yu et al. (2018b)提升了7.3%，尽管存在超参数调优的挑战。
• 消融实验表明，若移除实体跨度关系，性能显著下降——尤其在ATIS上从87.1%降至34.2%，凸显其在消歧中的关键作用。
• 使用加法边向量优于学习的边矩阵，可能归因于参数量更少且在相似边类型间泛化能力更强。
• 在Spider数据集中，若移除实体关系边，准确率从32.1%降至26.3%，表明实体间关系对复杂模式匹配至关重要。
• 该模型在未见表格与列上表现出强泛化能力，但BERT带来的性能增益对学习率与调度策略敏感，表明需仔细调优超参数。