[论文解读] Domain-specific Question Generation from a Knowledge Base.

Linfeng Song, Lin Zhao|arXiv (Cornell University)|Oct 12, 2016

Topic Modeling被引用 8

一句话总结

本文提出了一种领域特定的问题生成系统，该系统利用知识库（KB）和网络获取的信息，生成自然、多样且语法正确的提问。通过使用少量基于知识库的模板作为种子，该方法利用网络挖掘扩展问题候选，并通过相关性与语法正确性模型进行过滤，从而生成高质量、可扩展至多个领域的领域内问题。

ABSTRACT

Question generation has been a research topic for a long time, where a big challenge is how to generate deep and natural questions. To tackle this challenge, we propose a system to generate natural language questions from a domain-specific knowledge base (KB) by utilizing rich web information. A small number of question templates are first created based on the KB and instantiated into questions, which are used as seed set and further expanded through the web to get more question candidates. A filtering model is then applied to select candidates with high grammaticality and domain relevance. The system is able to generate large amount of in-domain natural language questions with considerable semantic diversity and is easily applicable to other domains. We evaluate the quality of the generated questions by human judgments and the results show the effectiveness of our proposed system.

研究动机与目标

• 解决从领域特定知识库生成深层、自然且语义多样的问题的挑战。
• 克服基于模板的问题生成方法的局限性，后者常导致重复或不自然的问题。
• 利用外部网络信息丰富并扩展初始问题模板的少量集合。
• 开发一种过滤模型，以确保生成问题的语法正确性与领域相关性。
• 构建一种可扩展的系统，适用于多种领域且人工干预极少。

提出的方法

• 基于领域特定知识库的结构与内容，创建少量初始问题模板。
• 将初始模板作为种子，利用搜索引擎或网络爬取从网络中挖掘额外的问题候选。
• 应用一种过滤模型，利用语言学与语义特征评估候选问题的语法正确性与领域相关性。
• 利用网络信息提升生成问题的语义多样性和自然性，超越僵化的模板模式。
• 结合知识库结构与网络规模数据，生成既事实准确又语言流畅的问题。
• 采用两阶段流程：模板实例化，随后进行网络扩展与过滤，以确保质量与多样性。

实验结果

研究问题

• RQ1 能否利用网络数据，将少量基于知识库的模板有效扩展为大量语义多样、自然流畅的问题？
• RQ2 过滤模型在基于语法正确性与领域相关性区分高质量问题与低质量候选方面有多有效？
• RQ3 网络信息的整合在多大程度上提升了生成问题的语义多样性和自然性？
• RQ4 所提出的系统在不同领域中是否具有可泛化性，且仅需极少重新配置？

主要发现

• 该系统成功生成了大量语义多样、领域相关的高质量问题。
• 人工评估确认，生成的问题自然且语法正确。
• 过滤模型有效提升了问题候选的质量，去除了低相关性或语法错误的输出。
• 利用网络衍生的扩展显著提升了生成问题的多样性和流畅性，超越了基于模板的生成方式。
• 该系统在仅需极少领域特定调优的情况下，展现出良好的可扩展性与领域适应能力。