[论文解读] Improving Controllability of Educational Question Generation by Keyword Provision

Ying-Hong Chan, Ho-Lam Chung+1 more|arXiv (Cornell University)|Dec 2, 2021

Topic Modeling参考文献 14被引用 4

一句话总结

本文提出了一种基于关键词提供（keyword-provision-based）的可控问题生成（CQG）框架KPQG，以提升教育领域问题生成（QG）的可控性与多样性。通过将用户提供的关键词融入输入，KPQG实现了目标导向、句法多样的问题生成，在使用DeBERTa的RACE数据集上取得了20.19的SOTA BLEU-4分数，显著优于先前工作。

ABSTRACT

Question Generation (QG) receives increasing research attention in NLP community. One motivation for QG is that QG significantly facilitates the preparation of educational reading practice and assessments. While the significant advancement of QG techniques was reported, current QG results are not ideal for educational reading practice assessment in terms of extit{controllability} and extit{question difficulty}. This paper reports our results toward the two issues. First, we report a state-of-the-art exam-like QG model by advancing the current best model from 11.96 to 20.19 (in terms of BLEU 4 score). Second, we propose to investigate a variant of QG setting by allowing users to provide keywords for guiding QG direction. We also present a simple but effective model toward the QG controllability task. Experiments are also performed and the results demonstrate the feasibility and potentials of improving QG diversity and controllability by the proposed keyword provision QG model.

研究动机与目标

• 为解决现有教育QG模型中缺乏可控性的问题，即生成的问题无法根据用户期望进行引导。
• 通过超越简单事实性问题，转向更复杂、类似考试的问题，提升生成问题的难度与多样性。
• 探索一种新的QG设置——可控问题生成（CQG），用户可提供关键词以引导问题方向。
• 评估预训练语言模型（PLMs）在提升教育评估中QG质量方面的有效性。
• 证明关键词引导可实现句法控制，并提升与期望问题类型的一致性。

提出的方法

• 提出一种新的QG设置CQG，其输入包含篇章、答案以及一组关键词，扩展了标准的（篇章，答案）输入对。
• 开发KPQG，一种简单但高效的方法，通过使用特殊标记将关键词整合到输入序列中，以引导生成过程。
• 采用预训练语言模型（DeBERTa、RoBERTa、BART）进行微调，采用自回归、掩码语言模型（masked-LM）或序列到序列（seq2seq）的生成方式。
• 通过在输入提示中插入关键词（例如，[S]篇章[S]答案[S]关键词[M]）来控制生成过程。
• 在EQG-RACE数据集上进行模型训练，该数据集源自RACE考试数据集，用于生成类似考试的问题。
• 使用标准NLP指标（BLEU、ROUGE-L、METEOR）评估生成质量与可控性。

实验结果

研究问题

• RQ1 关键词提供是否能显著提升教育QG模型的可控性？
• RQ2 引入用户指定的关键词是否能使输出问题更接近理想的、标准答案的问题？
• RQ3 关键词引导是否能实现对句法结构的控制，例如问题类型（如“who”与“which”）？
• RQ4 在类似考试的数据集上使用预训练语言模型，是否能相比先前方法提升QG质量？
• RQ5 所提出的方法是否能同时提升多样性与教育评估准备中的实际可用性？

主要发现

• 所提出的KPQG模型在EQG-RACE数据集上取得了20.19的SOTA BLEU-4分数，显著超过此前SOTA的11.96。
• 关键词引导使模型生成的问题与标准答案问题相比，显著更接近，优于基线模型。
• 当提供如“mars”或“Megan Smith”等关键词时，KPQG能成功生成与预期主题一致的问题，而基线模型则可能生成偏离目标的问题。
• 模型展现出句法控制能力：使用“who”或“which”作为关键词时，能生成对应的问题结构，实现有针对性的句法多样性。
• 案例研究显示，通过改变关键词输入，KPQG能生成多样且语境相关的题目，显著提升对教育工作者的实际应用价值。
• 使用DeBERTa作为主干模型时性能最佳，表明强大的预训练模型对高质量教育QG至关重要。