[论文解读] A Syntactic Approach to Domain-Specific Automatic Question Generation

Guy Danon, Last, Mark|arXiv (Cornell University)|Dec 28, 2017

Topic Modeling参考文献 16被引用 16

一句话总结

本文提出一种基于句法的领域特定自动问题生成方法，通过结合领域特定词嵌入的动词 paraphrasing 与上下位词识别，提升事实型问题的质量，生成更具挑战性、非字面意义的问题。该方法优于最先进基线模型，在148个经修改的问题中生成了62个可接受的问题，通过超越简单句法反转的深层语言转换，显著提升了问题的流畅性、清晰度和语义正确性。

ABSTRACT

Factoid questions are questions that require short fact-based answers. Automatic generation (AQG) of factoid questions from a given text can contribute to educational activities, interactive question answering systems, search engines, and other applications. The goal of our research is to generate factoid source-question-answer triplets based on a specific domain. We propose a four-component pipeline, which obtains as input a training corpus of domain-specific documents, along with a set of declarative sentences from the same domain, and generates as output a set of factoid questions that refer to the source sentences but are slightly different from them, so that a question-answering system or a person can be asked a question that requires a deeper understanding and knowledge than a simple word-matching. Contrary to existing domain-specific AQG systems that utilize the template-based approach to question generation, we propose to transform each source sentence into a set of questions by applying a series of domain-independent rules (a syntactic-based approach). Our pipeline was evaluated in the domain of cyber security using a series of experiments on each component of the pipeline separately and on the end-to-end system. The proposed approach generated a higher percentage of acceptable questions than a prior state-of-the-art AQG system.

研究动机与目标

• 生成高质量的事实型问题，要求更深层次的理解而非简单的词汇匹配。
• 解决现有系统因词汇或句法变化过少，导致生成的问题与源文本过于相似的局限性。
• 通过语言转换与知识资源提升在网络安全领域的问答质量。
• 评估领域特定词嵌入与上下位词识别在提升问题可接受性方面的有效性。
• 开发一个提升自动生成问题多样性与挑战性的流水线，同时保持语法正确性与语义相关性。

提出的方法

• 流水线从词性标注与命名实体识别开始，以识别领域特定句子中的关键成分。
• 利用 WordNet 与领域特定 Word2Vec 嵌入的组合，对源句中的动词进行 paraphrasing，生成语义相似但词汇不同的变体。
• 将 paraphrased 句子输入 Heilman（2011）的句法问题生成系统，生成初始的问题-答案对。
• 利用 WordNet 自动识别答案项的上下位词，以生成更具体的问题（例如，“哪种类型的恶意软件？”而非“恶意软件是什么？”）。
• 基于179个语言学特征的排序模型用于评估问题质量，人类专家对可接受性进行验证。
• 系统分别评估各组件性能，并使用网络安全领域数据进行端到端评估。

实验结果

研究问题

• RQ1 使用领域特定词嵌入进行动词 paraphrasing，是否能相比基线方法提升自动生成事实型问题的质量？
• RQ2 在答案中添加上下位词，在多大程度上能提升生成问题的特定性与可接受性？
• RQ3 句法转换与语义知识的结合，如何提升问题的多样性与理解深度？
• RQ4 领域特定词嵌入对减少问题生成中错误同义词替换的影响如何？
• RQ5 该流水线在真实领域（如网络安全）中，生成语法正确且语义有意义的问题的效率如何？

主要发现

• 所提出的动词 paraphrasing 方法通过选择23个额外的正确同义词，并在相似度低于0.5的33种情况下保留原始动词，将错误同义词数量从91个减少至35个。
• 在69个源句中，使用领域特定嵌入的 paraphrasing 方法成功将56个句子转化为可接受的问题，而基线方法仅能生成27个可接受句子。
• 上下位词识别组件的精确率为0.76，召回率为0.97，表明其在识别答案项适当泛化方面表现强劲。
• 在流水线修改的148个问题中，有62个获得专家评审认可为优质问题，优质问题接受率达到42%。
• 流水线拒绝的问题中仅有3.5%实际为优质问题，而未经修改的基线方法中该比例为8.7%，表明流水线能有效过滤低质量输出。
• 该系统在生成与源文本明显不同、同时保持语法正确性与语义清晰度的事实型问题方面，显著优于基线模型。