[论文解读] Knowledge Base Question Answering: A Semantic Parsing Perspective

裕二 池谷, Vardaan Pahuja+2 more|arXiv (Cornell University)|Sep 12, 2022

Topic Modeling被引用 15

一句话总结

本综述将知识库问答（KBQA）置于语义解析的更广泛背景下，识别出模式级复杂性和事实级复杂性作为关键挑战。它主张利用预训练语言模型以及来自相关语义解析任务（如文本到SQL）的约束解码技术，以克服KBQA的局限性，实现更鲁棒、更具泛化能力且端到端可训练的系统。

ABSTRACT

Recent advances in deep learning have greatly propelled the research on semantic parsing. Improvement has since been made in many downstream tasks, including natural language interface to web APIs, text-to-SQL generation, among others. However, despite the close connection shared with these tasks, research on question answering over knowledge bases (KBQA) has comparatively been progressing slowly. We identify and attribute this to two unique challenges of KBQA, schema-level complexity and fact-level complexity. In this survey, we situate KBQA in the broader literature of semantic parsing and give a comprehensive account of how existing KBQA approaches attempt to address the unique challenges. Regardless of the unique challenges, we argue that we can still take much inspiration from the literature of semantic parsing, which has been overlooked by existing research on KBQA. Based on our discussion, we can better understand the bottleneck of current KBQA research and shed light on promising directions for KBQA to keep up with the literature of semantic parsing, particularly in the era of pre-trained language models.

研究动机与目标

• 识别并分析KBQA中独特的挑战——模式级复杂性和事实级复杂性，这些挑战尽管在语义解析方面取得进展，但仍阻碍其发展。
• 将KBQA置于更广泛的语义解析文献背景中，弥合KBQA与相关任务（如文本到SQL和自然语言到API接口）之间的差距。
• 主张现有语义解析技术，尤其是利用预训练语言模型和约束解码的技术，在KBQA中仍被低估，应加以适配。
• 提出未来研究方向，包括可微实体投影的端到端训练、知识库特定的预训练，以及改进忠实度和泛化能力的约束解码。
• 强调需要对非独立同分布（non-i.i.i.d.）泛化进行系统性评估，包括组合式和零样本设置，以及跨知识库泛化，以支持实际部署。

提出的方法

• 基于语义解析提出KBQA方法的分类体系，区分模式链接、逻辑形式生成和事实对齐。
• 回顾用于KBQA的编码器-解码器和序列到序列模型，强调其局限性源于知识库模式规模庞大以及组合搜索空间的膨胀。
• 引入约束解码技术（如Picard、引导解码）以确保生成的逻辑形式基于知识库，避免无效查询。
• 提倡将预训练语言模型（PLMs）与动态模式项选择结合，以减少输入长度并提升效率。
• 建议使用连续实体嵌入以实现对数百万个知识库实体的可微操作，避免离散标记化带来的瓶颈。
• 建议设计知识库特定的预训练任务，以捕捉结构化查询语义，超越二分类任务，支持结构化预测。

实验结果

研究问题

• RQ1 尽管文本到SQL等其他语义解析任务与KBQA共享底层机制，为何KBQA进展仍较缓慢？
• RQ2 与其它知识密集型自然语言处理任务相比，模式级和事实级复杂性如何独特地挑战KBQA中的语义解析？
• RQ3 文本到SQL和自然语言到API解析的技术在多大程度上可被适配以提升KBQA的性能和泛化能力？
• RQ4 预训练语言模型在KBQA中扮演何种角色？其在处理大规模知识库模式时的局限性如何克服？
• RQ5 未来KBQA系统如何实现对不同知识库和查询类型的鲁棒零样本及组合式泛化？

主要发现

• KBQA中的模式级复杂性源于大量模式项（如Freebase中超过8K个），使得模式链接比关系型数据库困难得多。
• 事实级复杂性源于知识库的动态实例化——每个实体可能仅有少数关系——这要求精确对齐，以避免空结果或无效查询。
• 现有编码器-解码器模型在KBQA中表现受限，原因在于可能的KB路径组合爆炸，以及在预训练语言模型上下文长度限制下无法同时关注所有模式项。
• 近期研究表明，在ComplexWebQ等KBQA数据集上微调T5可超越先前最先进模型，表明编码器-解码器PLMs具有强大潜力。
• 约束解码方法（如Picard）通过确保生成查询在知识库中有效且有依据，提升了忠实度，减少了幻觉现象。
• 跨知识库泛化仍是重大开放挑战，当前模型易在特定知识库上过拟合；针对此设置的系统性评估基准仍显不足。