[论文解读] Answering Complex Questions Using Open Information Extraction

Tushar Khot, Ashish Sabharwal+1 more|arXiv (Cornell University)|Apr 19, 2017

Topic Modeling参考文献 18被引用 15

一句话总结

该论文提出TupleInf，一种基于开放信息抽取（Open IE）的推理系统，通过利用噪声大但自动抽取的三元组，无需依赖人工构建的知识库，在复杂初级科学问题上超越了最先进的结构化求解器。该系统采用优化的整数线性规划（ILP）框架，整合多个简短事实和关系证据，在四年级科学问题上达到51.7%的准确率——比TableILP高出11.8%，同时将推理时间减少68.6%。

ABSTRACT

While there has been substantial progress in factoid question-answering (QA), answering complex questions remains challenging, typically requiring both a large body of knowledge and inference techniques. Open Information Extraction (Open IE) provides a way to generate semi-structured knowledge for QA, but to date such knowledge has only been used to answer simple questions with retrieval-based methods. We overcome this limitation by presenting a method for reasoning with Open IE knowledge, allowing more complex questions to be handled. Using a recently proposed support graph optimization framework for QA, we develop a new inference model for Open IE, in particular one that can work effectively with multiple short facts, noise, and the relational structure of tuples. Our model significantly outperforms a state-of-the-art structured solver on complex questions of varying difficulty, while also removing the reliance on manually curated knowledge.

研究动机与目标

• 解决在缺乏人工构建知识库的资源贫乏领域中，回答复杂多事实问题的挑战。
• 将Open IE三元组的应用从简单查找问题扩展到涉及多个事实和关系推理的复杂推理任务。
• 开发一种能够处理噪声、冗余以及自动抽取三元组中缺乏可靠连接规则的鲁棒推理模型。
• 证明基于简化ILP的推理模型在Open IE三元组上，可在复杂科学问答任务中超越最先进的结构化求解器。

提出的方法

• 利用ElasticSearch检索与问题和答案关键词相关的句子，结合Open IE v4从领域相关文本中构建大规模、开放词汇的三元组知识库（KB）。
• 应用一种新颖的基于ILP的推理模型TupleInf，通过多个三元组搜索连接问题和答案术语的最优子图，强调合取证据而非链式推理。
• 采用简化版ILP公式，相比先前系统（如TableILP）减少约束和变量数量，从而实现更快的推理速度和更好的可扩展性。
• 在推理过程中动态地从问题-答案对中实时生成三元组，以动态丰富KB。
• 利用短语对齐和语义匹配技术，将问题中的术语与相关三元组关联，即使表面形式不同也能实现匹配。
• 将TupleInf与信息检索（IR）基线系统结合，形成集成系统，利用无损检索与结构化推理之间的互补性。

实验结果

研究问题

• RQ1 能否有效利用Open IE三元组回答需要跨多个句子进行推理的复杂多事实问题？
• RQ2 基于噪声大、开放词汇三元组的ILP推理模型，与依赖人工整理表格和连接规则的结构化求解器相比，表现如何？
• RQ3 在自动抽取三元组上推理时，简化版ILP公式是否能超越更复杂的模型？
• RQ4 基于Open IE的推理在更高年级水平和域外设置下，其泛化能力如何？
• RQ5 在复杂问答任务中，基于Open IE的推理与检索方法的互补性有多大？

主要发现

• TupleInf在四年级科学问题上达到51.7%的准确率，显著高于TableILP在相同基准上的39.9%，即使未使用任何人工构建的知识库。
• 当两个系统均使用相同的知识（人工整理表格 + Open IE三元组）时，TupleInf在四年级问题上仍提升11.8%的准确率，证明其更强的推理能力。
• 由于采用更简单的ILP公式（约束和变量更少），TupleInf相比TableILP将整体推理时间减少了68.6%。
• IR与TupleInf的集成系统在四年级问题上达到55.3%的准确率，优于两个独立组件以及IR + TableILP的集成系统。
• TupleInf在八年级问题上也表现出良好的泛化能力，准确率达到51.6%，即使与其他求解器（如PMI）结合仍具竞争力。
• 错误分析表明，损失性Open IE抽取和短语匹配错位是主要失败原因，提示未来工作应关注上下文感知抽取和分布语义建模。