[论文解读] Improving Question Generation With to the Point Context

Jingjing Li, Yifan Gao+3 more|arXiv (Cornell University)|Oct 14, 2019

Topic Modeling参考文献 29被引用 6

一句话总结

本文提出了一种问题生成模型，通过联合利用非结构化句子和结构化答案相关关系，提升事实准确性与相关性。通过将结构化关系视为‘直接相关’的上下文，该模型减少了对基于邻近性的编码依赖，在自动指标上取得最先进性能，尤其在远距离或复杂答案相关上下文中表现更优。

ABSTRACT

Question generation (QG) is the task of generating a question from a reference sentence and a specified answer within the sentence. A major challenge in QG is to identify answer-relevant context words to finish the declarative-to-interrogative sentence transformation. Existing sequence-to-sequence neural models achieve this goal by proximity-based answer position encoding under the intuition that neighboring words of answers are of high possibility to be answer-relevant. However, such intuition may not apply to all cases especially for sentences with complex answer-relevant relations. Consequently, the performance of these models drops sharply when the relative distance between the answer fragment and other non-stop sentence words that also appear in the ground truth question increases. To address this issue, we propose a method to jointly model the unstructured sentence and the structured answer-relevant relation (extracted from the sentence in advance) for question generation. Specifically, the structured answer-relevant relation acts as the to the point context and it thus naturally helps keep the generated question to the point, while the unstructured sentence provides the full information. Extensive experiments show that to the point context helps our question generation model achieve significant improvements on several automatic evaluation metrics. Furthermore, our model is capable of generating diverse questions for a sentence which conveys multiple relations of its answer fragment.

研究动机与目标

• 为解决基于邻近性的答案感知模型在问题生成中的局限性，此类模型在答案相关词语与答案跨度距离较远时会失效。
• 通过整合从输入句子中提取的结构化答案相关关系，提升问题生成的忠实度与信息量。
• 使模型即使在答案相关信息不邻近时，也能生成多样且上下文准确的问题。
• 证明结构化关系作为信号，比词语邻近性更可靠，可用于识别问题生成中的相关上下文。

提出的方法

• 模型采用双编码器架构，分别处理非结构化输入句子和通过预处理提取的结构化答案相关关系。
• 结构化关系以三元组形式表示：(主语, 关系, 宾语)，捕捉与答案相关的核心事实单元。
• 门控融合机制将非结构化句子与结构化关系的表示进行融合，以生成问题。
• 模型采用位置感知注意力机制，学习在句子和结构化关系中关注相关词语。
• 通过使用BIO标注方案进行答案感知训练，嵌入答案位置，确保模型聚焦于正确的答案跨度。
• 该框架支持单个句子包含多个关系，通过选择不同的结构化关系实现多样化问题生成。

实验结果

研究问题

• RQ1 当答案相关词语与答案相距较远时，结构化答案相关关系是否能提升问题生成性能？
• RQ2 使用结构化关系是否能减少对易在复杂句式中失效的基于邻近性编码的依赖？
• RQ3 模型能否通过利用单个句子中多个不同的答案相关关系，生成多样且事实准确的问题？
• RQ4 在长距离上下文场景下，与基于邻近性的基线模型相比，该模型在自动指标上的表现如何？

主要发现

• 该模型在BLEU、METEOR和ROUGE-L指标上达到最先进性能，显著优于基于邻近性的基线模型。
• 在答案相关词语与答案相距超过10个词元的句子中，基于邻近性的模型性能最高下降36%，而所提模型保持强劲表现。
• 通过选择不同的结构化关系，模型能生成多样化问题，此点已通过从同一句子中提取多个关系得到验证。
• 将结构化关系作为‘直接相关’上下文，可减少在包含嵌套事实（如括号从句）的复杂句子中的模型混淆。
• 与Sun等人（2018）的基线相比，该模型在BLEU-1指标上平均提升9.58分，尤其在长距离上下文场景中增益更大。
• 消融实验确认，非结构化句子与结构化关系均对性能有显著贡献，其中结构化关系在远距离上下文中的作用尤为关键。