[论文解读] An Exploratory Analysis of Feedback Types Used in Online Coding Exercises

Natalie Kiesler|arXiv (Cornell University)|Jun 7, 2022

Online Learning and Analytics被引用 4

一句话总结

本研究基于Narciss的辅导反馈框架及其子类型（由Keuning等人提出），分析了CodingBat、Scratch和Blockly中在线编程练习的反馈类型。研究发现，反馈常为混合型，难以区分通用反馈与个性化反馈，且未能充分反映编程教育中至关重要的四类知识类型（事实性、概念性、程序性、元认知性），呼吁在教育技术设计中采用更细致的反馈分类体系。

ABSTRACT

Online coding environments can help support computing students gain programming practice at their own pace. Especially informative feedback can be beneficial during such self-guided, independent study phases. This research aims at the identification of feedback types applied by CodingBat, Scratch and Blockly. Tutoring feedback as coined by Susanne Narciss along with the specification of subtypes by Keuning, Jeuring and Heeren constitute the theoretical basis. Accordingly, the five categories of elaborated feedback (knowledge about task requirements, knowledge about concepts, knowledge about mistakes, knowledge about how to proceed, and knowledge about meta-cognition) and their subtypes were utilized for the analysis of available feedback options. The study revealed difficulties in identifying clear-cut boundaries between feedback types, as the offered feedback usually integrates more than one type or subtype. Moreover, currently defined feedback types do not rigorously distinguish individualized and generic feedback. The lack of granularity is also evident in the absence of subtypes relating to the knowledge type of the task. The analysis thus has implications for the future design and investigation of applied tutoring feedback. It encourages future research on feedback types and their implementation in the context of programming exercises to define feedback types that match the demands of novice programmers.

研究动机与目标

• 识别并分类在线编程练习中在CodingBat、Scratch和Blockly上使用的 informative tutoring feedback 类型。
• 考察理论反馈分类体系与实际编程教育工具中反馈实现之间的匹配程度。
• 解决现有反馈分类中缺乏粒度的问题，特别是与编程相关的四类知识类型（事实性、概念性、程序性、元认知性）的体现。
• 探究在自动化系统中区分通用反馈与个性化反馈所面临的挑战。
• 通过识别当前反馈分类体系在初学者编程学习环境中的不足，为未来教育技术的设计与研究提供依据。

提出的方法

• 应用Narciss的informative tutoring feedback理论框架及其子类型（由Keuning、Jeuring和Heeren定义）。
• 对CodingBat、Scratch和Blockly中100多个编程练习的反馈信息进行探索性内容分析。
• 将反馈划分为五类主要类型：关于任务要求的知识、概念、错误、如何继续前进、元认知。
• 在每种类别中识别子类型，并评估其与Anderson等人提出的四类知识类型（事实性、概念性、程序性、元认知性）的匹配程度。
• 评估反馈中是否体现个性化特征、多种反馈类型的整合，以及多模态表达形式。
• 提出对反馈分类体系的扩展，新增两类：关于事实的知识（KF）和关于程序的知识（KP），以更准确反映编程特有的认知需求。

实验结果

研究问题

• RQ1 在CodingBat、Scratch和Blockly的在线编程练习中，实际实施了哪些类型的informative tutoring feedback？
• RQ2 理论反馈类型及其子类型在多大程度上与这些平台的实际反馈实现相匹配？
• RQ3 反馈信息如何整合多种反馈类型，这对学习者理解有何影响？
• RQ4 在反馈中是否存在系统性差距，未能体现不同类型的编程知识（事实性、概念性、程序性、元认知性）？
• RQ5 如何优化反馈分类体系，以更好地支持初学者在自主学习环境中的学习？

主要发现

• 在线编程工具中的反馈常将多种类型整合于单一信息中，导致难以映射到理论分类。
• 理论反馈分类体系未区分通用反馈与个性化反馈，尽管二者在效果和设计上存在显著差异。
• 现有反馈类别在呈现编程教育中至关重要的四类知识类型（事实性、概念性、程序性、元认知性）时缺乏粒度。
• 本研究识别出需要新增反馈类型——关于事实的知识（KF）和关于程序的知识（KP），以更好地契合编程特有的认知需求。
• 反馈信息常未能明确涉及元认知知识，尽管其在问题解决和自我调节学习中具有重要意义。
• 多模态反馈（如文字、视觉提示）的整合应用不足，且在现有反馈分类体系中未得到系统化分类。