[논문 리뷰] Bridging Declarative, Procedural, and Conditional Metacognitive Knowledge Gap Using Deep Reinforcement Learning

Mark Abdelshiheed, John Wesley Hostetter외 2명|arXiv (Cornell University)|2023. 04. 23.

Intelligent Tutoring Systems and Adaptive Learning인용 수 5

한 줄 요약

이 논문은 지능형 튜터링 시스템(ITS)을 사용하는 학생들이 묘사적 지식, 절차적 지식, 조건부 지식 간 격차를 메우기 위해 적응형 정서인지 간섭을 제공하는 딥 강화학습(DRL) 정책을 제안한다. DRL 정책은 향후 학습을 준비시키는 데 성공적으로 기여하여, 간섭이 제공되지 않은 후속 확률 튜터에서 성능을 향상시켰으며, 이는 DRL이 변화하는 정서인지 발달에 적응하고 전략적 자율성을 향상시킬 수 있음을 보여준다.

ABSTRACT

In deductive domains, three metacognitive knowledge types in ascending order are declarative, procedural, and conditional learning. This work leverages Deep Reinforcement Learning (DRL) in providing adaptive metacognitive interventions to bridge the gap between the three knowledge types and prepare students for future learning across Intelligent Tutoring Systems (ITSs). Students received these interventions that taught how and when to use a backward-chaining (BC) strategy on a logic tutor that supports a default forward-chaining strategy. Six weeks later, we trained students on a probability tutor that only supports BC without interventions. Our results show that on both ITSs, DRL bridged the metacognitive knowledge gap between students and significantly improved their learning performance over their control peers. Furthermore, the DRL policy adapted to the metacognitive development on the logic tutor across declarative, procedural, and conditional students, causing their strategic decisions to be more autonomous.

연구 동기 및 목표

• 추론 분야에서의 정서인지 지식 격차를 타깃으로 삼아 학생들이 향후 학습을 준비시키는 데 지속적인 과제를 해결한다.
• 딥 강화학습(DRL)이 묘사적 지식, 절차적 지식, 조건부 지식 간 격차를 메우는 적응형 간섭을 제공할 수 있는지 조사한다.
• 논리 튜터에서의 DRL 간섭이 후속 확률 튜터에서 추가 간섭 없이도 성능 향상에 기여하는지 평가한다.
• 학생들의 정서인지 발달이 지식 유형 간에 변화함에 따라 DRL 정책이 어떻게 간섭 전략을 적응적으로 조정하는지 조사한다.
• 제어 조건 대비 DRL 가이드 간섭 하에서 학생들의 전략적 결정의 자율성이 어느 정도 향상되는지 평가한다.

제안 방법

• 논리 튜터에서의 성과 및 전략 사용을 기반으로 학생들을 묘사적, 절차적, 조건부 정서인지 지식 유형으로 분류한다.
• 학생의 준수 상태 및 전략 사용에 따라 유도, BC 제공, 또는 간섭 없음 중 하나를 선택하는 DRL 정책을 설계한다.
• 학생의 의사결정 시퀀스를 기반으로 연관 규칙 마이닝을 수행하여 DRL 정책 행동을 해석하며, 규칙 형식은 {action_t, compliance_t} ⇒ action_{t+1} 이다.
• 18개의 가능한 규칙에 대해 지지도와 신뢰도를 계산하여 학생 유형 간 고빈도, 고신뢰도 정책 패턴을 식별한다.
• 각 학생당 평균 13회의 결정을 포함한 총 598회의 학습 결정 데이터를 기반으로 46명의 실험 학생을 대상으로 DRL 정책을 훈련한다.
• 논리 튜터와 확률 튜터에서의 학습 성과 및 전략적 자율성에 대한 DRL 정책의 영향을 평가한다.

(a) Forward Chaining (FC)

실험 결과

연구 질문

• RQ1 DRL 기반 간섭은 지능형 튜터링 시스템에서 묘사적 지식, 절차적 지식, 조건부 지식 간 정서인지 지식 격차를 효과적으로 메울 수 있는가?
• RQ2 논리 튜터에서의 DRL 간섭이 후속 확률 튜터에서 추가 간섭 없이도 성능 향상에 기여하는가?
• RQ3 학생들의 지식 유형 간 정서인지 발달 변화에 따라 DRL 정책은 간섭 전략을 어떻게 적응적으로 조정하는가?
• RQ4 DRL 가이드 간섭은 제어 조건 대비 학생들의 전략적 의사결정 자율성을 어느 정도 향상시키는가?
• RQ5 학생의 행동 및 준수 패턴은 DRL 정책이 변화하는 정서인지 상태에 어떻게 적응하는지를 어떻게 드러내는가?

주요 결과

• DRL 간섭은 논리 튜터와 후속 확률 튜터에서 모두 학습 성과를 유의미하게 향상시켰다. 이는 간섭이 제공되지 않은 확률 튜터에서도 성과 향상이 이루어졌음을 의미한다.
• 초기에는 묘사적 또는 절차적 지식만을 가진 학생들이 조건부 지식을 가진 학생들보다 확률 튜터에서 더 높은 성과를 보였으며, 이는 DRL이 정서인지 지식 격차를 메웠음을 시사한다.
• DRL 정책은 학생의 준수 상태에 따라 간섭 전략을 조정하였으며, 상위 규칙들은 이미 적절히 BC를 사용하는 학생들에게는 간섭을 피하는 경향을 보였다 (예: {No, Disagree} ⇒ No, 지지도 23%).
• 학생이 반론을 제기할 경우 간섭 방식을 전환하는 등 동적 적응을 보였으며, 이는 정서인지 변화에 민감하게 반응함을 나타낸다 (예: {Nud, Disagree} ⇒ Prs, 지지도 7%, 신뢰도 69%).
• DRL 간섭을 받은 학생들은 시간이 지남에 따라 직접 간섭에 대한 의존도가 감소하며 전략적 자율성이 증가했다.
• 연관 규칙 마이닝을 통해 DRL 정책은 어떻게, 언제도역 추론을 사용하는 학생들을 조건부 학습자로 간주하여 불필요한 간섭을 피하는 것으로 밝혀졌다.

(b) Backward Chaining (BC)