[论文解读] A pilot study of the use of LogEx, lessons learned

Josje Lodder, Bastiaan Heeren+1 more|arXiv (Cornell University)|Jul 14, 2015

Intelligent Tutoring Systems and Adaptive Learning参考文献 9被引用 3

一句话总结

本试点研究评估了LogEx这一电子学习工具在使用标准等价关系教授命题逻辑重写方面的效果。研究发现，尽管学生在规则应用和公式标准化方面有所提高，但由于缺乏对解题策略的反馈，学生在战略洞察力方面仍显不足，因此建议在大规模评估中增强反馈机制并改进日志记录功能。

ABSTRACT

LogEx is a learning environment that supports students in rewriting propositional logical formulae, using standard equivalences. We organized a pilot study to prepare a large scale evaluation of the learning environment. In this paper we describe this study, together with the outcomes, which teach us valuable lessons for the large scale evaluation.

研究动机与目标

• 评估LogEx在使用标准等价关系教授命题逻辑重写方面的有效性。
• 评估学生是否通过该工具掌握了核心能力，如规则应用、公式标准化和等价性证明。
• 识别可用性和反馈问题，以指导LogEx的大规模评估设计。
• 基于观察到的学生行为，改进工具的反馈机制，特别是关于战略决策方面的反馈。
• 确保日志基础设施能够捕获所有用户操作，包括撤销和提示使用情况，以实现对学习结果的准确分析。

提出的方法

• 在乌得勒大学的课堂环境中，对一年级学生进行小规模实验，使用LogEx进行受控教学。
• 通过前测和后测评估学生在三类练习中的学习成效：重言式证明、范式重写和等价性证明。
• 收集学生交互的详细日志数据，包括逐步重写、规则应用、提示请求以及撤销操作。
• 分析日志以识别规则使用、策略发展和求助行为的模式，特别是低效或错误方法的出现。
• 使用语义检查和一组预定义的“错误规则”对错误重写提供反馈，包括常见错误的解释。
• 评估不同反馈类型（语法、规则、语义及提示型）对学生表现和学习成果的影响。

实验结果

研究问题

• RQ1 学生在使用LogEx后，在应用命题逻辑等价关系方面有多大程度的提升？
• RQ2 LogEx在支持学生将公式重写为DNF和CNF，以及证明等价性方面有多有效？
• RQ3 哪些关键的可用性和反馈问题阻碍了学生在证明构建中发展出战略洞察力？
• RQ4 学生如何使用提示、下一步建议和完整解答？这些行为对学习成果有何影响？
• RQ5 哪些日志限制影响了在该工具中准确评估学生学习和行为的能力？

主要发现

• 学生在正确应用逻辑规则以及将公式重写为标准形式方面表现出显著进步，这一结果由前测和后测数据证实。
• 尽管在规则应用和标准化方面有所进步，但学生在解题效率和路径选择方面的战略洞察力并未提升，表明其策略能力未见改善。
• 一名学生发展出一种非最优策略，即反复使用双重否定和德摩根定律，由于缺乏对策略的反馈，该策略持续存在。
• 仅有1名学生使用了提示或下一步建议功能，且仅1名学生使用了完整解答对比功能，表明帮助功能普遍被回避。
• 系统未能记录撤销操作，限制了对学生解题过程演变的追踪能力，也难以检测学生何时回溯或修改步骤。
• 学生在处理分配律的可交换变体时遇到困难，错误地认为可交换重排可在一步内完成，暴露出规则适用性说明不清晰的问题。