[论文解读] Neural Machine Translating from Natural Language to SPARQL

Xiaoyu Yin, Dagmar Gromann+1 more|arXiv (Cornell University)|Jun 21, 2019

Natural Language Processing Techniques参考文献 17被引用 15

一句话总结

该论文评估了八种神经机器翻译（NMT）模型——RNN、CNN 和 Transformer——将自然语言问题转化为 SPARQL 查询的效果。基于卷积神经网络的 ConvS2S 模型表现最佳，BLEU 分数最高达 98，准确率最高达 94%，在三个基准数据集上优于 RNN 和 Transformer 架构，证明了卷积神经网络在自然语言到 SPARQL 翻译任务中的有效性。

ABSTRACT

SPARQL is a highly powerful query language for an ever-growing number of Linked Data resources and Knowledge Graphs. Using it requires a certain familiarity with the entities in the domain to be queried as well as expertise in the language's syntax and semantics, none of which average human web users can be assumed to possess. To overcome this limitation, automatically translating natural language questions to SPARQL queries has been a vibrant field of research. However, to this date, the vast success of deep learning methods has not yet been fully propagated to this research problem. This paper contributes to filling this gap by evaluating the utilization of eight different Neural Machine Translation (NMT) models for the task of translating from natural language to the structured query language SPARQL. While highlighting the importance of high-quantity and high-quality datasets, the results show a dominance of a CNN-based architecture with a BLEU score of up to 98 and accuracy of up to 94%.

研究动机与目标

• 评估不同 NMT 架构在将自然语言问题翻译为 SPARQL 查询方面的性能。
• 评估模型架构（RNN、CNN、Transformer）对翻译质量与鲁棒性的影响。
• 研究注意力机制在从自然语言生成 SPARQL 查询过程中的作用。
• 评估现有数据集（LC-QUAD、DBNQA、monument）在训练自然语言到 SPARQL 模型方面的有效性。
• 识别当前评估指标的局限性，并为结构化语言生成任务提出改进方案。

提出的方法

• 采用带有注意力机制的编码器-解码器序列到序列框架进行自然语言到 SPARQL 的翻译。
• 训练并比较八种 NMT 模型：两种基于 RNN 的模型（使用全局注意力和局部注意力）、一种基于 CNN 的模型（ConvS2S），以及五种 Transformer 变体（包括 GNMT）。
• 使用前缀编码方式表示 SPARQL 查询，使其与序列到序列模型兼容。
• 应用标准的 NMT 评估指标：BLEU 分数、困惑度，以及 SPARQL 语法正确性的精确字符串匹配准确率。
• 采用多语言 NMT 训练的默认超参数，未进行任务特定的微调。
• 在三个数据集上评估模型：monument、LC-QUAD 和 DBpedia 神经问答（DBNQA），其规模和复杂度逐步增加。

实验结果

研究问题

• RQ1 在将自然语言翻译为 SPARQL 的任务中，RNN、CNN 或 Transformer 哪种 NMT 架构表现最佳？
• RQ2 注意力机制（全局注意力与局部注意力）如何影响自然语言到 SPARQL 生成的翻译质量？
• RQ3 数据集规模和质量在多大程度上影响自然语言到 SPARQL 翻译的模型性能？
• RQ4 标准的 NMT 评估指标（如 BLEU 和困惑度）在评估结构化语言生成任务时是否可靠？
• RQ5 现有数据集是否足以支持高精度的自然语言到 SPARQL 翻译，还是需要更高质量的数据集？

主要发现

• 基于 CNN 的 ConvS2S 模型在 DBNQA 数据集上取得了最高的 BLEU 分数 98.00 和 94% 的准确率，优于所有其他模型。
• 使用注意力机制的 RNN 模型相比基线 RNN 模型性能有所提升，其中局部乘法注意力（NSpM+Att2）略优于全局加性注意力（NSpM+Att1）。
• 基于 Transformer 的 GNMT 模型表现出更慢的收敛速度和更高的训练波动，尽管网络更深，但 BLEU 分数和准确率仍较低。
• 仅在 DBNQA 数据集上观察到困惑度与 BLEU 之间的清晰相关性，表明不同数据集间评估指标的一致性不足。
• 模型常能生成正确的 SPARQL 语法，但存在实体层面的错误，例如将 'dbr_Radiant_Silvergun' 错误替换为 'dbr_Ella_Fitzgerald'，表明命名实体预测仍具挑战。
• DBNQA 数据集在训练中表现最有效，但仍受限于查询复杂度和词汇多样性，提示需改进数据收集方法。