[论文解读] The Power of Nudging: Exploring Three Interventions for Metacognitive Skills Instruction across Intelligent Tutoring Systems

Mark Abdelshiheed, John Wesley Hostetter+3 more|arXiv (Cornell University)|Mar 18, 2023

Intelligent Tutoring Systems and Adaptive Learning被引用 5

一句话总结

本研究评估了三种干预措施——示例（Example）、提示（Nudge）和呈现（Presented）——在智能辅导系统中教授元认知策略选择的效果。在逻辑与概率辅导系统中，提示显著优于其他干预措施，通过促进及时、战略性地切换至逆向推理，使默认采用单一策略的学生在两个领域均追赶上专家学生。

ABSTRACT

Deductive domains are typical of many cognitive skills in that no single problem-solving strategy is always optimal for solving all problems. It was shown that students who know how and when to use each strategy (StrTime) outperformed those who know neither and stick to the default strategy (Default). In this work, students were trained on a logic tutor that supports a default forward-chaining and a backward-chaining (BC) strategy, then a probability tutor that only supports BC. We investigated three types of interventions on teaching the Default students how and when to use which strategy on the logic tutor: Example, Nudge and Presented. Meanwhile, StrTime students received no interventions. Overall, our results show that Nudge outperformed their Default peers and caught up with StrTime on both tutors.

研究动机与目标

• 为填补在教授元认知技能（特别是何时以及如何使用解题策略）方面，超越机械式示例学习的空白。
• 探究是否通过提示学生切换策略（提示），以目标策略呈现问题（呈现），或展示示例（示例），能够改善默认采用单一策略的学生的学习成果。
• 确定这些干预措施是否能帮助默认学生实现与已掌握多策略使用时机和方法的专家学生相当的学业表现。
• 基于ICAP框架与提示理论，探讨互动在元认知技能发展中的作用。
• 考察学生在未来学习任务中的决策模式，及其与人格特质的一致性。

提出的方法

• 学生被分配至支持正向推理（默认）和逆向推理（BC）策略的逻辑辅导系统，随后进入仅支持逆向推理的概率辅导系统。
• 默认学生被随机分配至四个组别：对照组（无干预）、示例组（展示逆向推理的完整示例）、提示组（当合适时，辅导系统提示学生切换至逆向推理）、呈现组（问题默认以逆向推理方式呈现）。
• 已掌握策略使用方法的学生（StrTime学生）未接受任何干预，作为表现基准。
• 所有学生随后完成概率辅导系统，并在独立解题（PS）、完整示例（WE）或渐退式完整示例（FWE）之间进行选择。
• 基于学生在两个辅导系统中的学习进步以及在概率阶段的战略决策表现，评估干预措施的效果。
• 使用卡方检验分析各组间选择行为的差异，绩效通过正确率和策略使用情况衡量。

(a) Forward Chaining (FC)

实验结果

研究问题

• RQ1 在三种干预措施——示例、提示或呈现中，哪一种最有效地使默认策略学生在学习表现上追赶上StrTime学生？
• RQ2 不同干预措施如何影响学生的策略行为，特别是在逻辑辅导系统中从正向推理切换至逆向推理的行为？
• RQ3 干预组与StrTime学生在概率辅导系统中的选择（PS、WE、FWE）是否存在显著差异？这些选择揭示了何种自我调节学习特征？
• RQ4 与被动示例或呈现的问题相比，提示在多大程度上支持元认知技能（如策略意识和时间意识）的发展？
• RQ5 人格特质（通过TIPI测量）与策略决策及干预效果之间是否存在相关性？

主要发现

• 提示组学生在逻辑与概率辅导系统中的表现优于所有其他默认策略组（示例、呈现、对照组），其表现与StrTime学生相当。
• 在逻辑辅导系统中，提示组学生在早期切换策略的行为上与StrTime学生一致，表明其具备有效的策略选择与元认知控制能力。
• 在概率辅导系统中，提示组学生选择独立解题（PS）的比例显著高于呈现组、示例组或对照组（χ²(2, N=350)=32.9, p<.0001）。
• StrTime学生选择渐退式完整示例（FWE）的比例显著低于提示组（χ²(2, N=600)=67.5, p<.0001），表明其更具信心且对支架支持的需求更低。
• 示例组与对照组在表现或决策行为上无显著差异，表明仅被动展示示例的效果有限。
• 提示组与StrTime学生在TIPI人格量表上均报告了更高水平的批判性与争辩性特质，提示自我认知与策略性学习行为之间可能存在关联。

(b) Backward Chaining (BC)