[论文解读] Make a Choice! Knowledge Base Question Answering with In-Context Learning

Chuanyuan Tan, Yuehe Chen+2 more|arXiv (Cornell University)|May 23, 2023

Topic Modeling被引用 4

一句话总结

该论文提出McL-KBQA，一种知识库问答框架，通过利用大语言模型（LLMs）的上下文学习（ICL）来提升低资源环境下的泛化能力。通过基于排序的方法将问题转化为多项选择题格式，并结合思维链（CoT）提示的ICL，该框架采用融合策略将LLM预测与现有KBQA方法结合，实现了最先进性能，尤其在WebQSP和GrailQA数据集的少样本设置下表现突出。

ABSTRACT

Question answering over knowledge bases (KBQA) aims to answer factoid questions with a given knowledge base (KB). Due to the large scale of KB, annotated data is impossible to cover all fact schemas in KB, which poses a challenge to the generalization ability of methods that require a sufficient amount of annotated data. Recently, LLMs have shown strong few-shot performance in many NLP tasks. We expect LLM can help existing methods improve their generalization ability, especially in low-resource situations. In this paper, we present McL-KBQA, a framework that incorporates the few-shot ability of LLM into the KBQA method via ICL-based multiple choice and then improves the effectiveness of the QA tasks. Experimental results on two KBQA datasets demonstrate the competitive performance of McL-KBQA with strong improvements in generalization. We expect to explore a new way to QA tasks from KBQA in conjunction with LLM, how to generate answers normatively and correctly with strong generalization.

研究动机与目标

• 解决因标注数据有限而难以覆盖大规模知识库中长尾事实所导致的KBQA泛化挑战。
• 利用大语言模型（LLMs）的少样本推理能力，提升低资源场景下的KBQA性能。
• 通过将任务转化为多项选择题形式，缓解直接提示LLMs进行KBQA时常见的幻觉和答案格式不匹配问题。
• 设计一种结果融合策略，结合基于排序的KBQA方法与LLM预测结果，以提升整体准确率。
• 通过在上下文学习提示中引入思维链（CoT）解释，提升LLM对复杂问题的推理能力，尤其在存在约束条件时。

提出的方法

• 利用基于排序的KBQA方法生成的候选逻辑形式，将原始的事实性问题转化为多项选择题格式。
• 通过采样少样本示例构建上下文学习（ICL）提示，包括问题、选项、正确答案及对应逻辑形式。
• 通过引入思维链（CoT）提示增强ICL，以提取问题中的约束信息和答案类型，提升推理质量。
• 使用正则表达式自动从LLM生成的输出中提取所选选项的字母，以映射到相应的逻辑形式。
• 实施一种结果融合策略：当排序器置信度较低时选择LLM预测结果，否则默认采用排序器输出。
• 在知识库上执行最终的逻辑形式以检索答案，结合两种方法的优势。

实验结果

研究问题

• RQ1 在标注数据稀缺的低资源环境下，LLMs的上下文学习能否提升KBQA的泛化能力？
• RQ2 通过基于排序的方法将KBQA转化为多项选择题格式，是否能提升LLM性能并减少幻觉？
• RQ3 在ICL框架中使用思维链（CoT）提示，在多大程度上能增强LLM在KBQA中的推理能力？
• RQ4 所提出的融合策略在结合基于排序的方法与LLM预测结果以提升整体准确率方面，效果如何？
• RQ5 该框架在标准KBQA基准数据集上，能否在不同少样本与全样本设置下均实现一致的性能提升？

主要发现

• 在WebQSP数据集的5%少样本设置下，LLM组件在19.28%的问题上优于基于排序的方法，表明其具有强大的互补潜力。
• 结果融合使最终输出优于两个独立组件的问题比例提升了0.61%（5%设置）和2.01%（全量设置）。
• 思维链（CoT）提示一致提升了ICL性能，93.52%的LLM输出在CoT设置下成功匹配到有效选项字母。
• 自动选项匹配方法在ICL设置下实现了96.36%的成功率，在CoT设置下达到93.52%，表现出良好鲁棒性。
• 尽管LLM在某些情况下会产生幻觉或错误答案，但通过融合策略和CoT的约束感知推理，框架有效减少了此类失败。
• 该框架在WebQSP和GrailQA上均实现了具有竞争力的性能，尤其在少样本条件下提升显著，验证了其在低资源KBQA中的有效性。