[논문 리뷰] Extending the Hint Factory for the assistance dilemma: A novel, data-driven HelpNeed Predictor for proactive problem-solving help

Mehak Maniktala, Christa Cody외 4명|arXiv (Cornell University)|2020. 10. 08.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 57인용 수 6

한 줄 요약

이 논문은 제안 논리와 같은 잘 구조화된 개방형 도메인에서 학생의 문제 해결 단계가 비생산적인지 여부를 예측하는 데이터 기반의 HelpNeed 예측기 모델을 제안한다. 이는 Hint Factory 프레임워크를 확장하여 학생이 도움이 필요할 가능성이 높을 때 사전에 힌트를 제공함으로써, 사전에 도움을 요청하는 것보다 학업 성취도, 도움의 적절성, 학습 효율성 측면에서 뚜렷한 향상을 이룬다.

ABSTRACT

Determining when and whether to provide personalized support is a well-known challenge called the assistance dilemma. A core problem in solving the assistance dilemma is the need to discover when students are unproductive so that the tutor can intervene. Such a task is particularly challenging for open-ended domains, even those that are well-structured with defined principles and goals. In this paper, we present a set of data-driven methods to classify, predict, and prevent unproductive problem-solving steps in the well-structured open-ended domain of logic. This approach leverages and extends the Hint Factory, a set of methods that leverages prior student solution attempts to build data-driven intelligent tutors. We present a HelpNeed classification, that uses prior student data to determine when students are likely to be unproductive and need help learning optimal problem-solving strategies. We present a controlled study to determine the impact of an Adaptive pedagogical policy that provides proactive hints at the start of each step based on the outcomes of our HelpNeed predictor: productive vs. unproductive. Our results show that the students in the Adaptive condition exhibited better training behaviors, with lower help avoidance, and higher help appropriateness (a higher chance of receiving help when it was likely to be needed), as measured using the HelpNeed classifier, when compared to the Control. Furthermore, the results show that the students who received Adaptive hints based on HelpNeed predictions during training significantly outperform their Control peers on the posttest, with the former producing shorter, more optimal solutions in less time. We conclude with suggestions on how these HelpNeed methods could be applied in other well-structured open-ended domains.

연구 동기 및 목표

• 학생이 도움이 필요한 상황임에도 요청을 아예 하지 않는 문제를 해결하기 위해, 개방형이고 잘 구조화된 도메인에서의 보조 문제를 다루기 위함.
• 이전 학생 행동 데이터를 기반으로 비생산적인 문제 해결 단계를 'HelpNeed'로 분류하는 데이터 기반 방법을 개발하기 위함.
• HelpNeed 예측 시 도움을 사전에 제공하는 적응형 교육 정책을 설계하고 평가하기 위함.
• 도움의 적절성 향상과 도움 회피 감소를 통해 학생의 학습 성과를 향상시키기 위함.
• 수학, 물리학, 프로그래밍과 같은 다른 잘 구조화된 개방형 도메인으로 이 방법을 일반화하기 위함.

제안 방법

• Hint Factory 프레임워크를 확장하여 단계 수준의 생산성 정의 및 비생산적(=HelpNeed) 또는 생산적인 단계로 분류함.
• 역사적 학생 해결 데이터를 활용해 다음 단계가 비생산적일 가능성을 예측하는 기계학습 모델을 훈련함.
• 전역적 해결 품질을 수량화하고 HelpNeed 분류에 기여하기 위해 수정된 벨먼 방정식을 적용함.
• 비생산적 단계를 두 유형으로 정의함: '기회적'(비효율적이지만 도움이 필요하지 않음)과 '멀리 떨어진'(비효율적이며 도움이 필요함).
• HelpNeed 예측기가 단계가 도움이 필요할 가능성이 높다고 판단할 경우 사전에 힌트를 제공하는 적응형 교육 정책을 구현함.
• 문제 별 모델 재학습 없이도 일반화가 가능한 상태 기반 및 상태 무관 분류기들을 사용해 HelpNeed 예측기를 구축함.

실험 결과

연구 질문

• RQ1 잘 구조화된 개방형 논리 도메인에서 데이터 기반의 HelpNeed 예측기가 비생산적인 문제 해결 단계를 정확히 식별할 수 있는가?
• RQ2 HelpNeed 예측 기반의 사전 힌트 제공이 사전 요청 방식의 도움과 비교해 학생의 사후 테스트 성과를 향상시키는가?
• RQ3 적응형 힌트 정책은 도움 회피 감소 및 도움의 적절성 증가와 같은 더 나은 도움 요청 행동을 이끌어내는가?
• RQ4 HelpNeed 예측기와 적응형 정책은 해결의 최적성과 완료 시간에 어떤 영향을 미치는가?
• RQ5 이 방법은 수학이나 프로그래밍과 같은 다른 잘 구조화된 개방형 도메인으로 얼마나 일반화될 수 있는가?

주요 결과

• Adaptive 조건에 속한 학생들은 Control 그룹에 비해 사후 테스트에서 더 높은 성취도를 보였으며, 더 짧고 최적화된 해결책을 더 빠르게 제출함.
• Adaptive 그룹은 도움의 적절성이 뚜렷하게 높았으며, 도움이 필요할 것으로 예측된 상황에서 실제로 도움을 받을 가능성이 더 높았음.
• Adaptive 그룹은 도움 회피가 줄었고, HelpNeed로 분류된 단계 수가 적어져 학습 행동이 향상된 것으로 나타남.
• HelpNeed 예측기는 이전 학생 상호작용 데이터를 기반으로 비생산적 단계를 성공적으로 식별하여 효과적인 사전 힌트 제공을 가능하게 함.
• 적응형 정책은 도움 남용과 도움 기회 유실을 모두 줄여 최적의 학습을 위한 개입 타이밍을 균형 있게 조절함.
• 이 방법은 상태가 잘 정의되고 해결 점수가 존재하는 도메인으로 일반화 가능하지만, 신규 도메인에서의 검증이 필요함.