[论文解读] A derivational rephrasing experiment for question answering

Bernard Jacquemin|arXiv (Cornell University)|Oct 27, 2010

Natural Language Processing Techniques参考文献 30被引用 3

一句话总结

本文提出了一种以精确度为导向的派生重述方法，用于法语问答任务，结合形态派生工具与杜波瓦词典的派生规则，生成语义准确的派生词。通过使用词汇规则过滤候选词，并借助句法解析与词义消歧技术应用这些派生词，该方法在重述过程中保持了语义一致性，且未降低准确率，与同义词重述结合时可实现10%的潜在性能提升。

ABSTRACT

In Knowledge Management, variations in information expressions have proven a real challenge. In particular, classical semantic relations (e.g. synonymy) do not connect words with different parts-of-speech. The method proposed tries to address this issue. It consists in building a derivational resource from a morphological derivation tool together with derivational guidelines from a dictionary in order to store only correct derivatives. This resource, combined with a syntactic parser, a semantic disambiguator and some derivational patterns, helps to reformulate an original sentence while keeping the initial meaning in a convincing manner This approach has been evaluated in three different ways: the precision of the derivatives produced from a lemma; its ability to provide well-formed reformulations from an original sentence, preserving the initial meaning; its impact on the results coping with a real issue, ie a question answering task . The evaluation of this approach through a question answering system shows the pros and cons of this system, while foreshadowing some interesting future developments.

研究动机与目标

• 为应对问答任务中词性变化的挑战，通过生成查询词的语义准确派生变体。
• 通过使用通用法语词典中的词汇规则，过滤掉错误的派生词，从而减少派生扩展中的噪声。
• 在保持句法与语义一致性的前提下，将派生重述整合进问答系统流程。
• 评估派生重述对问答系统性能的影响，尤其与标准扩展技术进行对比。
• 探索派生重述与同义词重述之间的协同效应，以提升覆盖范围与准确率。

提出的方法

• 基于概率的形态派生工具通过在词干上应用学习到的词缀，从词基生成候选派生词。
• 利用杜波瓦词典中的派生规则对候选词进行过滤，确保派生结果的语义正确性，从而实现高精确度。
• 句法解析器与词义消歧系统提取依存结构，以形式化方式表示句子语义。
• 将派生模式应用于依存结构，以模拟重述后的语句，而无需完整生成。
• 将重述后的结构用于问答系统中的查询扩展，从而实现与文本中答案短语的匹配。
• 评估基于TREC 8问答任务框架进行，比较启用与禁用派生重述时的性能表现。

实验结果

研究问题

• RQ1 派生重述是否能在保持或提升精确度的同时提升问答系统性能？
• RQ2 与无约束派生相比，使用基于词典的规则过滤派生候选词，能在多大程度上减少噪声？
• RQ3 在覆盖范围与准确率方面，派生重述与同义词重述相比表现如何？
• RQ4 将派生重述与同义词重述结合使用，对系统性能有何影响？
• RQ5 派生重述能否在不降低结果质量的前提下，有效集成到深度处理型问答系统中？

主要发现

• 在小规模测试中，该派生重述方法的平均性能得分为0.367，显著低于启用派生重述时的0.767，表明仍需进一步优化。
• 尽管在小规模测试中的绝对性能较低，但该方法未造成性能下降——与之相反，传统派生扩展常会损害准确率。
• 当派生重述与同义词重述结合使用时，系统成功回答了原本未获得答案的19个问题，表明性能可能提升约10%。
• 使用杜波瓦词典中的派生规则显著减少了错误派生词的数量，实现了精准的过滤。
• 词义消歧与句法依存解析在将派生模式准确应用于句子结构方面起到了关键作用。
• 将动词派生指令对称化为名词条目，可提升对非动词词形的覆盖范围。