[论文解读] Answer Extraction for Why Arabic Questions Answering Systems: EWAQ

Fatima T. AL-Khawaldeh|arXiv (Cornell University)|Jul 4, 2019

Topic Modeling参考文献 4被引用 15

一句话总结

本文提出EWAQ，一种专门针对'为什么'类问题的阿拉伯语问答系统，通过文本蕴涵度量对搜索引擎检索到的文本段落进行重排序，并提取最合理的答案。该系统通过利用基于蕴涵的相似性评分，相较于基线搜索引擎显著提升了答案抽取的准确性，证明了该方法在处理解释性阿拉伯语文本查询时能显著增强答案抽取效果。

ABSTRACT

With the increasing amount of web information, questions answering systems becomes very important to allow users to access to direct answers for their requests. This paper presents an Arabic Questions Answering Systems based on entailment metrics. The type of questions which this paper focuses on is why questions. There are many reasons lead us to develop this system: generally, the lack of Arabic Questions Answering Systems and scarcity Arabic Questions Answering Systems which focus on why questions. The goal of the proposed system in this research is to extract answers from re-ranked retrieved passages which are retrieved by search engines. This system extracts the answer only to why questions. This system is called by EWAQ: Entailment based Why Arabic Questions Answering. Each answer is scored with entailment metrics and ranked according to their scores in order to determine the most possible correct answer. EWAQ is compared with search engines: yahoo, google and ask.com, the well-established web-based Questions Answering systems, using manual test set. In EWAQ experiments, it is showed that the accuracy is increased by implementing the textual entailment in re-raking the retrieved relevant passages by search engines and deciding the correct answer. The obtained results show that using entailment based similarity can help significantly to tackle the why Answer Extraction module in Arabic language.

研究动机与目标

• 为解决阿拉伯语问答系统，特别是针对'为什么'类问题的稀缺性问题。
• 通过利用文本蕴涵技术，提升解释性阿拉伯语文本查询的答案抽取准确性。
• 开发一种系统，利用蕴涵度量对重排序后的文本段落中的候选答案进行评分与排序。
• 评估基于蕴涵的重排序在提升阿拉伯语'为什么'类问题答案选择效果方面的有效性。

提出的方法

• 系统使用标准搜索引擎（Google、Yahoo以及一个基于URL的自定义引擎）检索文本段落。
• 应用文本蕴涵度量，评估候选答案与原始'为什么'问题之间的语义关系。
• 根据候选答案与问题之间的蕴涵程度对答案进行评分，以反映其在逻辑上解释问题的充分性。
• 根据这些蕴涵评分对段落进行重排序，以优先选择最相关的答案。
• 从重排序后的列表中选取得分最高的答案作为最终输出。
• 使用人工构建的测试集对系统进行评估，以与基线搜索引擎进行性能对比。

实验结果

研究问题

• RQ1 文本蕴涵度量能否有效提升阿拉伯语'为什么'类问题的答案抽取效果？
• RQ2 与标准搜索引擎相比，基于蕴涵的段落重排序在多大程度上提升了答案选择的准确性？
• RQ3 EWAQ在回答解释性阿拉伯语文本问题方面，相较于通用搜索引擎有多大的性能优势？
• RQ4 基于蕴涵的相似性是否是一种可行且有效的阿拉伯语问答系统中识别正确答案的方法？

主要发现

• 使用文本蕴涵进行重排序，显著提升了答案抽取的准确性，相较于基线搜索引擎。
• EWAQ通过利用问题与候选答案之间的语义蕴涵关系，在识别'为什么'类问题的正确答案方面表现出更高的精确度。
• 通过聚焦于逻辑解释而非关键词匹配，该系统在答案选择方面实现了可测量的性能提升。
• 结果证实，基于蕴涵的相似性在处理阿拉伯语解释性问题的答案抽取模块中是有效的。