[论文解读] A Complex KBQA System using Multiple Reasoning Paths

Kechen Qin, Yu Wang+5 more|arXiv (Cornell University)|May 22, 2020

Natural Language Processing Techniques参考文献 22被引用 5

一句话总结

该论文提出了一种端到端的KBQA系统，通过将推理路径建模为隐变量并优化边缘化概率目标，无需路径标注即可利用多条推理路径。该方法在WQSP、CWQ和PQL数据集上的多跳及复杂问题上均表现出色，优于单路径基线模型，尤其在需要多样化推理路径的问题上优势显著。

ABSTRACT

Multi-hop knowledge based question answering (KBQA) is a complex task for natural language understanding. Many KBQA approaches have been proposed in recent years, and most of them are trained based on labeled reasoning path. This hinders the system's performance as many correct reasoning paths are not labeled as ground truth, and thus they cannot be learned. In this paper, we introduce an end-to-end KBQA system which can leverage multiple reasoning paths' information and only requires labeled answer as supervision. We conduct experiments on several benchmark datasets containing both single-hop simple questions as well as muti-hop complex questions, including WebQuestionSP (WQSP), ComplexWebQuestion-1.1 (CWQ), and PathQuestion-Large (PQL), and demonstrate strong performance.

研究动机与目标

• 为解决现有KBQA系统依赖单一标注推理路径的局限性，这些路径常会遗漏有效的替代路径。
• 实现仅使用问题-答案对和实体链接进行端到端训练，消除对昂贵路径标注的需求。
• 通过学习多样且高质量的推理路径，提升复杂多跳问题上的泛化能力和鲁棒性。
• 将推理路径建模为隐变量，并在训练和推理过程中为更高质量的路径分配更高概率。
• 证明通过过滤和互信息最大化实现的多路径联合优化可带来更优性能。

提出的方法

• 该系统将推理路径建模为隐变量，并使用边缘化概率目标，联合优化知识库中所有可能路径。
• 在训练过程中采用可微分推理机制，过滤掉无效或低质量的路径（例如答案集过大或链路难以解释的路径）。
• 基于答案集大小和连贯性设计过滤策略，丢弃图1中如p⁷这类过于宽泛或不连贯的路径。
• 最大化问题与预测答案之间的条件互信息，而非仅最大化似然，以减少强先验关联（如本杰明·富兰克林 → 发明）带来的偏差。
• 该方法与模型架构无关，可与任意KBQA模型集成，通过多路径推理提升性能。
• 推理阶段，模型输出多样化的推理路径，为更优路径分配更高概率，同时为其他有效路径保持合理得分。

实验结果

研究问题

• RQ1 KBQA系统能否在不依赖路径标注的前提下，通过利用多条推理路径，提升复杂多跳问题的性能？
• RQ2 当仅监督最终答案时，模型如何有效区分高质量与低质量的推理路径？
• RQ3 与仅最大化似然相比，最大化条件互信息是否能提升泛化能力并减少强实体先验带来的偏差？
• RQ4 排除无效或过于宽泛的推理路径在多大程度上能提升模型的鲁棒性和准确性？
• RQ5 边缘化概率目标能否实现端到端训练，同时捕捉多样化的推理模式并保持强性能？

主要发现

• 当在所有未过滤的推理路径上进行训练（k₂ = ∞）时，F1分数下降3.4%，证明路径过滤对排除低质量路径至关重要。
• 与仅最大化似然相比，采用条件互信息最大化使性能提升1.8%，尤其在强实体先验问题（如本杰明·富兰克林与婚姻）上表现更优。
• 所提出的边缘化目标结合多输入路径，生成比单路径训练更集中的概率分布，同时在推理阶段仍保持路径多样性。
• 消融实验表明，采用联合目标与多路径的模型能为多条正确路径分配合理概率，而单路径模型则会将概率集中于单一路径。
• 该系统在WQSP、CWQ和PQL三个基准数据集上均优于基线模型，尤其在需要超越单一路径推理的复杂多跳问题上表现更优。
• 该方法无需路径标注即可实现优异性能，使其在路径标注成本高昂的实际部署场景中更具实用性。