[논문 리뷰] The Power of Nudging: Exploring Three Interventions for Metacognitive Skills Instruction across Intelligent Tutoring Systems

Mark Abdelshiheed, John Wesley Hostetter외 3명|arXiv (Cornell University)|2023. 03. 18.

Intelligent Tutoring Systems and Adaptive Learning인용 수 5

한 줄 요약

이 연구는 지능형 튜터링 시스템에서 메타인지 전략 선택을 가르치기 위해 세 가지 간섭 조치—예시(Example), 유도(Nudge), 제시(Presented)—를 평가한다. 논리와 확률 튜터를 사용하여, 유도 조치는 다른 간섭 조치보다 유의미하게 뛰어난 성과를 보였으며, 기본 전략을 사용하는 학생들이 후행 체인 전략으로의 적시 전환을 장려함으로써 논리 및 확률 분야에서 전문가 학생들과 동등한 성과를 달성하도록 했다.

ABSTRACT

Deductive domains are typical of many cognitive skills in that no single problem-solving strategy is always optimal for solving all problems. It was shown that students who know how and when to use each strategy (StrTime) outperformed those who know neither and stick to the default strategy (Default). In this work, students were trained on a logic tutor that supports a default forward-chaining and a backward-chaining (BC) strategy, then a probability tutor that only supports BC. We investigated three types of interventions on teaching the Default students how and when to use which strategy on the logic tutor: Example, Nudge and Presented. Meanwhile, StrTime students received no interventions. Overall, our results show that Nudge outperformed their Default peers and caught up with StrTime on both tutors.

연구 동기 및 목표

• 기계적인 예시 학습을 넘어서, 문제 해결 전략을 언제, 어떻게 사용할 것인지에 대한 메타인지 기술을 가르치는 데 있어 빈도가 낮은 문제를 해결하기 위함.
• 기본 전략을 사용하는 학생들에게 전략 전환을 유도하는 프롬프트(유도), 목표 전략으로 문제를 제시하는 것(Presented), 또는 예시를 보여주는 것(Example)이 학습 성과에 미치는 영향을 조사하기 위함.
• 기본 전략을 사용하는 학생들이 이미 여러 전략을 언제, 어떻게 사용할지 알고 있는 전문가 학생들과 동등한 성과를 달성할 수 있는지 확인하기 위함.
• ICAP 프레임워크와 유도 이론을 활용하여 상호작용이 메타인지 기술 개발에 미치는 역할을 탐색하기 위함.
• 미래의 학습 과제에서 학생들의 의사결정 패턴과 성격 특성 간의 일치성을 분석하기 위함.

제안 방법

• 학생들은 전방 연역(기본) 전략과 후행 연역(BC) 전략을 지원하는 논리 튜터에 할당되었으며, 이후 후행 연역 전략만 지원하는 확률 튜터를 수강하였다.
• 기본 전략을 사용하는 학생들은 네 가지 조건에 무작위로 할당되었음: 제어군(간섭 없음), 예시(BC의 완성된 예시), 유도(적절한 시점에 튜터가 BC로 전환하도록 유도), 제시(문제가 기본적으로 BC 전략으로 제시됨).
• 이미 전략 사용 방법과 시기를 알고 있는 StrTime 학생들은 간섭 없이 수강하였으며, 성과 기준으로 사용됨.
• 모든 학생들은 확률 튜터를 수료한 후, 문제를 독립적으로 해결하는 것(PS), 완성된 예시를 제공받는 것(WE), 또는 점진적으로 지원이 줄어드는 예시를 사용하는 것(FWE) 중 하나를 선택하였다.
• 간섭 조치는 두 튜터에서의 학습 성과와 확률 단계에서의 전략적 의사결정 능력을 기반으로 평가되었다.
• 데이터는 선택 행동 간 비교를 위해 카이제곱 검정을 사용하였으며, 성과는 정확도와 전략 사용 여부로 측정되었다.

(a) Forward Chaining (FC)

실험 결과

연구 질문

• RQ1 예시(Example), 유도(Nudge), 제시(Presented) 중 어느 간섭 조치가 기본 전략을 사용하는 학생들이 학습 성과에서 StrTime 학생들과 동등해지는데 가장 효과적인가?
• RQ2 다른 간섭 조치는 논리 튜터에서 전방 연역에서 후행 연역으로의 전환 행동에 어떤 영향을 미치는가?
• RQ3 인터뷰 그룹 간 및 StrTime 학생들과 비교할 때, 확률 튜터에서의 선택(PS, WE, FWE)은 유의미하게 다를까? 이러한 선택은 자율학습 능력에 대해 무엇을 드러내는가?
• RQ4 수동적인 예시나 제시된 문제에 비해, 유도 조치가 전략 인식과 시간 인식과 같은 메타인지 기술의 발달을 얼마나 잘 지원하는가?
• RQ5 TIPI로 측정된 성격 특성은 전략적 의사결정과 간섭 조치의 효과성과 어떤 관련이 있는가?

주요 결과

• 유도 조치를 받은 학생들은 예시, 제시, 제어군을 포함한 모든 다른 기본 전략 그룹보다 논리 튜터와 확률 튜터에서 뛰어난 성과를 보였으며, StrTime 학생들과 동등한 성과를 달성했다.
• 논리 튜터에서 유도 조치를 받은 학생들은 StrTime 학생들과 동일한 조기 전환 행동을 보였으며, 효과적인 전략 선택과 메타인지 통제 능력을 보였다.
• 확률 튜터에서, 유도 조치를 받은 학생들은 제시, 예시, 제어군보다 유의미하게 더 자주 문제를 독립적으로 해결하는 것(PS)을 선택했다(χ²(2, N=350)=32.9, p<.0001).
• StrTime 학생들은 유도 조치를 받은 학생들보다 점진적으로 지원이 줄어드는 예시(FWE)를 유의미하게 덜 선택했다(χ²(2, N=600)=67.5, p<.0001), 이는 더 높은 자신감과 보조 지원이 필요로 하는 정도가 낮음을 시사한다.
• 예시 및 제어군은 성과나 의사결정 행동에 유의미한 차이를 보이지 않아, 수동적인 예시 노출만으로는 효과가 없음을 시사한다.
• 유도 조치를 받은 학생들과 StrTime 학생들은 모두 TIPI에서 높은 수준의 비판적이고 논쟁을 좋아하는 성격 특성을 보였으며, 자가 인식과 전략적 학습 행동 간의 연관성이 있음을 시사한다.

(b) Backward Chaining (BC)