[论文解读] I Do Not Understand What I Cannot Define: Automatic Question Generation With Pedagogically-Driven Content Selection

Tim Steuer, Anna Filighera+2 more|arXiv (Cornell University)|Oct 8, 2021

Topic Modeling参考文献 45被引用 4

一句话总结

本文提出了一种新颖的自动问题生成（AQG）系统，专为教育类教科书设计，基于教学原则选择内容，特别聚焦于定义性陈述，以生成高质量、促进理解的问题。该方法采用基于阅读理解理论的、以教学为导向的内容选择机制，教育专家的评估显示问题在语言质量与教学相关性方面表现优异，表明该系统具有提升深层文本理解的潜力。

ABSTRACT

Most learners fail to develop deep text comprehension when reading textbooks passively. Posing questions about what learners have read is a well-established way of fostering their text comprehension. However, many textbooks lack self-assessment questions because authoring them is timeconsuming and expensive. Automatic question generators may alleviate this scarcity by generating sound pedagogical questions. However, generating questions automatically poses linguistic and pedagogical challenges. What should we ask? And, how do we phrase the question automatically? We address those challenges with an automatic question generator grounded in learning theory. The paper introduces a novel pedagogically meaningful content selection mechanism to find question-worthy sentences and answers in arbitrary textbook contents. We conducted an empirical evaluation study with educational experts, annotating 150 generated questions in six different domains. Results indicate a high linguistic quality of the generated questions. Furthermore, the evaluation results imply that the majority of the generated questions inquire central information related to the given text and may foster text comprehension in specific learning scenarios.

研究动机与目标

• 为解决高等教育教科书中自我评估问题稀缺的问题，该问题阻碍了深层文本理解。
• 克服现有自动问题生成（AQG）系统在内容选择方面缺乏教学基础的局限。
• 开发一种基于学习理论选择问题候选内容的AQG系统，特别聚焦于定义性陈述，因其具有教学价值。
• 通过教育专家在多种学术领域中的评估，检验生成问题的语言与教学质量。
• 证明AQG系统能够生成针对文本基础中核心命题的问题，从而支持连贯心智模型的构建。

提出的方法

• 该系统基于假设——定义代表核心且具有教学价值的信息——将教科书中的定义性陈述识别为问题生成的主要候选内容。
• 采用内容选择机制，优先选择包含显式定义的句子，利用诸如“是”、“意味着”或“指”等语言线索检测定义结构。
• 问题生成流程通过基于模板和神经生成技术，将选定的定义性句子转化为语法正确、可回答的问题。
• 系统接受完整的教科书作为输入，实现在无需预分割文本单元的情况下，实现上下文感知的问题生成。
• 整合了文本理解的建构-整合（C-I）模型原则，确保生成的问题针对文本基础和情境模型中的核心命题。
• 通过一项专家评估研究，对六个领域中150个生成问题的语言流畅性与教学相关性进行了评估。

实验结果

研究问题

• RQ1 自动问题生成系统能否从任意教科书内容中生成语言流畅且可回答的问题？
• RQ2 基于定义性陈述选择内容是否能生成具有教学意义的问题，从而聚焦于文本中的核心信息？
• RQ3 教育专家如何评价在多种学术领域中自动生成问题的语言与教学质量？
• RQ4 生成的问题在多大程度上与文本基础的核心命题一致，从而支持连贯心智模型的构建？
• RQ5 基于理论的内容选择机制是否能在教育语境的AQG中优于启发式或算法式方法？

主要发现

• 生成的问题在语言质量方面表现优异，教育专家评定其具有高度的流畅性与语法正确性。
• 多数生成问题被判断为教学上适当，聚焦于文本中的核心信息，有助于理解。
• 专家对个别问题的可用性评价常出现分歧，表明教学评估具有主观性，但质量趋势清晰可见。
• 该系统成功识别并转化了定义性陈述为有意义的问题，表明定义是问题候选内容的可靠信号。
• 评估结果支持理论主张：针对文本基础中的核心命题生成问题可增强文本理解，验证了该方法的教学理论基础。
• 尽管标注者间一致性存在局限，结果表明该AQG系统在高等教育语境中生成的问题具有可衡量的教育价值。