[论文解读] Question Generation by Transformers

Kettip Kriangchaivech, Artit Wangperawong|arXiv (Cornell University)|Sep 9, 2019

Topic Modeling参考文献 20被引用 6

一句话总结

本文提出一种基于Transformer的序列到序列模型，用于从维基百科段落自动生成问题，训练数据为倒置SQuAD数据集。该模型生成的句子语法正确且与上下文相关，平均每个问题8个词，但词错误率（WER）高达9.66，表明与SQuAD问题在句法结构上存在显著差异，反映出问题复杂度和问题起始词多样性方面的局限性。

ABSTRACT

A machine learning model was developed to automatically generate questions from Wikipedia passages using transformers, an attention-based model eschewing the paradigm of existing recurrent neural networks (RNNs). The model was trained on the inverted Stanford Question Answering Dataset (SQuAD), which is a reading comprehension dataset consisting of 100,000+ questions posed by crowdworkers on a set of Wikipedia articles. After training, the question generation model is able to generate simple questions relevant to unseen passages and answers containing an average of 8 words per question. The word error rate (WER) was used as a metric to compare the similarity between SQuAD questions and the model-generated questions. Although the high average WER suggests that the questions generated differ from the original SQuAD questions, the questions generated are mostly grammatically correct and plausible in their own right.

研究动机与目标

• 开发一种无需模板、极少人工干预的基于Transformer的问答生成系统，替代RNN模型。
• 通过自动化问答生成，提升教育工作者在测验和考试创建中的效率与可扩展性。
• 评估模型在不依赖手工规则或模板的情况下，生成语法正确且语义相关的问答的能力。
• 利用词错误率（WER）诊断问答质量的局限性，并识别问题类型分布中的偏差。
• 探索数据增强和预训练语言模型作为未来改进方向，以提升问答的多样性与语义准确性。

提出的方法

• 模型采用基于Transformer的序列到序列架构，使用编码器-解码器注意力机制，替代循环神经网络（RNNs）。
• 自注意力机制通过缩放点积注意力实现：$\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d}}\right)V$。
• 模型在倒置SQuAD数据集上进行微调，该数据集包含来自维基百科段落的100,000多个问答对。
• 解码过程中使用束搜索（beam search）和分桶技术（bucketing），以提升生成质量并处理可变长度序列。
• 多头注意力机制通过$h$个头并行关注不同的表示子空间，提升上下文建模能力。
• 使用词错误率（WER）评估模型性能，将生成的问题与SQuAD标准答案进行对比，并进一步分析问题结构与首词频率。

实验结果

研究问题

• RQ1 基于Transformer的模型能否在不依赖模板或人工设计规则的情况下，生成语法正确且语义相关的问答？
• RQ2 与基于RNN的模型相比，基于Transformer的问答生成器在训练效率和输出质量方面表现如何？
• RQ3 生成的问题在语义和句法结构上与SQuAD中人工标注的问题在多大程度上一致？
• RQ4 生成问题中问题类型（如起始词分布）的主要偏差是什么？与人工标注问题相比有何差异？
• RQ5 如何通过数据增强和预训练语言模型提升生成问题的多样性与语义准确性？

主要发现

• 模型生成的问题平均长度为8个词，显著短于SQuAD的平均12个词，表明生成的问题更简单、细节更少。
• 生成问题与SQuAD问题之间的平均词错误率（WER）为9.66，表明尽管语法正确，但句法结构仍存在显著差异。
• 尽管WER较高，许多生成的问题在语义上仍合理且与上下文相关，例如针对'by what means were scientists able to liquefy air?'生成了'what is the name of the process of water?'
• 模型表现出强烈的倾向，即问题多以'what'开头，仅使用10种不同的起始词，而SQuAD中为21种，表明问题类型多样性严重不足。
• WER ≥ 20的问题仍能反映正确答案和上下文，但常在疑问词上不同（如'who' vs. 'what'），显示尽管结构不同，语义仍具相似性。
• 研究表明，BLEU或ROUGE等指标可能无法有效捕捉语义相似性，建议使用SQuAD的问答模型评估答案一致性，作为更可靠的评估方法。