[论文解读] Leveraging Term Banks for Answering Complex Questions: A Case for Sparse Vectors

Peter D. Turney|arXiv (Cornell University)|Apr 11, 2017

Natural Language Processing Techniques参考文献 4被引用 5

一句话总结

本文提出 Multivex，一种基于稀疏向量的问答系统，通过利用领域特定术语库来提升复杂科学问题的性能。通过使用稀疏、高维向量空间来建模问题与候选答案之间的词汇连贯性，该系统在性能上优于密集嵌入方法，表明稀疏性更能捕捉到罕见且特定的词共现关系，从而在受限领域问答中实现更优的事实推理。

ABSTRACT

While open-domain question answering (QA) systems have proven effective for answering simple questions, they struggle with more complex questions. Our goal is to answer more complex questions reliably, without incurring a significant cost in knowledge resource construction to support the QA. One readily available knowledge resource is a term bank, enumerating the key concepts in a domain. We have developed an unsupervised learning approach that leverages a term bank to guide a QA system, by representing the terminological knowledge with thousands of specialized vector spaces. In experiments with complex science questions, we show that this approach significantly outperforms several state-of-the-art QA systems, demonstrating that significant leverage can be gained from continuous vector representations of domain terminology.

研究动机与目标

• 解决在缺乏昂贵知识库的情况下，回答受限领域中复杂、多步骤科学问题的挑战。
• 探索术语库——即现成的领域词汇表——是否能通过识别关键概念关联来引导问答。
• 调查稀疏、高维向量表示是否在问答的事实推理中优于密集、低维嵌入。
• 开发一种无监督系统，通过术语库调制的多个向量空间来利用词汇连贯性。
• 证明罕见且特定的共现关系（例如，语境中的“地壳板块”）比一般词语使用模式更能指示事实相关性。

提出的方法

• 构建三种类型的向量空间：术语空间（每个术语一个）、词空间（每个术语一个，用于建模词语上下文）和句子空间（每个术语一个，用于建模句子级语义）。
• 使用 tf–idf 加权计算问题与每个候选答案之间的词汇连贯性，其中组合特征（如“边界和地震”）作为关键指标。
• 应用四步流水线：(1) 使用词汇连贯性得分从术语库中选出前10个术语；(2) 将其缩减至4个术语；(3) 选出最优的单个术语；(4) 返回对应的答案。
• 将词语和句子表示为术语特定空间中的稀疏向量，避免全局嵌入，从而保留罕见且领域特定的共现关系。
• 使用伪文档（从语料库聚合的句子）来计算文档频率和组合特征的 tf–idf 权重。
• 在训练数据上调整超参数（如最高项数量），以在准确率和推理速度之间取得平衡，缺省设置为第1–4步分别使用10、4、1、1。

实验结果

研究问题

• RQ1 术语库是否能作为有效且低成本的引导工具，用于回答受限领域中复杂、多概念的科学问题？
• RQ2 与低维密集嵌入相比，使用稀疏、高维向量表示是否能提升问答中的事实推理能力？
• RQ3 罕见且特定的词共现关系（如“地壳板块”）是否比一般词语使用模式更能提供词汇连贯性的信息？
• RQ4 组合特征（如“地震和边界”）在识别复杂问题正确答案中的贡献程度如何？
• RQ5 仅使用术语库和稀疏向量的无监督系统，是否能在无需规则知识或监督微调的情况下，在科学考试问答任务中达到具有竞争力的性能？

主要发现

• 在默认参数设置下，Multivex 在所有测试问题的并集中取得了 51.9% 的测试得分，且参数变化对其影响极小。
• tf–idf 加权的组合匹配（步骤1.2和2.2）是最重要的子得分，表明罕见且特定的共现关系对词汇连贯性至关重要。
• 在术语矩阵的 22,767,476 个列中，98.8% 为组合特征，其中 99% 的文档频率为1，凸显了罕见事件的长尾分布特征。
• 将稀疏向量替换为密集嵌入（如 Word2Vec 或 SVD）会降低性能，证实了在密集表示中罕见事件会被平滑化。
• 该系统在标准台式机上回答一个典型的四选一问题耗时 5.0 秒，执行时间与所考虑的最高项数量呈线性关系。
• 发现稀疏向量优于密集向量的结论挑战了当前普遍认为密集嵌入在事实推理中更优的假设，尤其在特定领域、以事实为导向的任务中。