[论文解读] A Case Based Reasoning Approach for Answer Reranking in Question Answering

Karl-Heinz Weis|arXiv (Cornell University)|Jan 1, 2013

Topic Modeling参考文献 11被引用 5

一句话总结

本文提出了一种基于案例的推理（CBR）方法，通过利用先前用户问题的标注MultiNet图来改进答案验证，从而在问答系统中实现答案重排序。通过将CBR衍生的特征整合到学习型排序模型中，系统实现了0.74的平均倒数排名（MRR），并表明在42.5%的决策树分裂中使用了CBR特征，通过持续学习用户反馈显著提升了重排序的准确性。

ABSTRACT

In this document I present an approach to answer validation and reranking for question answering (QA) systems. A cased-based reasoning (CBR) system judges answer candidates for questions from annotated answer candidates for earlier questions. The promise of this approach is that user feedback will result in improved answers of the QA system, due to the growing case base. In the paper, I present the adequate structuring of the case base and the appropriate selection of relevant similarity measures, in order to solve the answer validation problem. The structural case base is built from annotated MultiNet graphs, which provide representations for natural language expressions, and corresponding graph similarity measures. I cover a priori relations to experienced answer candidates for former questions. I compare the CBR System results to current approaches in an experiment integrating CBR into an existing framework for answer validation and reranking. This integration is achieved by adding CBR-related features to the input of a learned ranking model that determines the final answer ranking. In the experiments based on QA@CLEF questions, the best learned models make heavy use of CBR features. Observing the results with a continually growing case base, I present a positive effect of the size of the case base on the accuracy of the CBR subsystem.

研究动机与目标

• 通过利用先前用户标注的答案候选来改进开放域问答系统中的答案重排序。
• 解决在答案验证中超越词汇重叠的语义相似性挑战。
• 通过用户反馈扩展案例库，实现系统的持续改进。
• 将CBR特征有效整合到问答系统的学习型排序模型中。

提出的方法

• 系统使用MultiNet图——从德语维基百科和新闻语料中提取的结构化语义表示——来编码问题和答案候选。
• 从先前回答问题的标注MultiNet图中构建案例库，形成结构化的经验基础。
• 定义图相似性度量，用于比较新问题/答案与过往案例之间的语义结构。
• 通过使用分层-属性感知的相似性计算，识别新案例与过往案例之间的相似子图，从而提取CBR特征。
• 将这些CBR特征作为输入，整合到通过分层袋装法训练的排序优化决策树集成模型中。
• 最终的答案排序通过在学习排序框架中结合CBR特征与深度、浅层及检索型特征来确定。

实验结果

研究问题

• RQ1 基于案例的推理能否通过复用先前用户标注的答案，提升开放域问答系统中的答案重排序？
• RQ2 基于图的相似性度量在MultiNet表示上，对识别语义相似的问题-答案对有多有效？
• RQ3 CBR衍生特征在问答学习排序模型中的性能贡献程度如何？
• RQ4 案例库的大小如何影响CBR子系统在答案验证中的准确性？
• RQ5 MultiNet图中的结构相似性能否在语义等价但词汇形式不同的问题和答案之间实现泛化？

主要发现

• 将CBR特征整合到学习排序模型中，实现了0.74的最高MRR，优于未使用CBR的模型。
• 在100棵决策树的所有分支条件中，CBR特征被用于42.5%，表明其对最终排序决策具有显著影响。
• 表现最佳的模型（DSC3）实现了61%的Top-1准确率，显著优于基线方法。
• 案例库大小与CBR子系统的准确性呈正相关，证实了系统具备持续改进的潜力。
• 系统在语义相似的问题和答案上表现最佳，而在完全不相似的案例中性能下降，凸显了关键挑战区域。
• 使用MultiNet图和分层-属性感知相似性度量，实现了有效的结构化比较，支持了超越词汇匹配的稳健答案验证。