[논문 리뷰] The Continuous Hint Factory - Providing Hints in Vast and Sparsely Populated Edit Distance Spaces

Benjamin Paaßen, Barbara Hammer외 4명|arXiv (Cornell University)|2017. 08. 22.

Intelligent Tutoring Systems and Adaptive Learning참고 문헌 6인용 수 12

한 줄 요약

논문은 가우시안 프로세스를 사용하여 유사한 과거 학생 상태의 편집을 가중 평균화함으로써 희박하게 구성된 에디트 거리 공간에서 다음 단계 힌트를 생성하는 새로운 방법인 연속 힌트 팩토리(Continuous Hint Factory, CHF)를 제안한다. 이는 기존 예측 기반 방법들과 비교해 복잡한 개방형 프로그래밍 과제에서 능력 있는 학생의 행동을 더 잘 예측하며, 간단한 과제에서는 전문가 수준의 힌트 품질을 유지한다.

ABSTRACT

Intelligent tutoring systems can support students in solving multi-step tasks by providing hints regarding what to do next. However, engineering such next-step hints manually or via an expert model becomes infeasible if the space of possible states is too large. Therefore, several approaches have emerged to infer next-step hints automatically, relying on past students' data. In particular, the Hint Factory (Barnes & Stamper, 2008) recommends edits that are most likely to guide students from their current state towards a correct solution, based on what successful students in the past have done in the same situation. Still, the Hint Factory relies on student data being available for any state a student might visit while solving the task, which is not the case for some learning tasks, such as open-ended programming tasks. In this contribution we provide a mathematical framework for edit-based hint policies and, based on this theory, propose a novel hint policy to provide edit hints in vast and sparsely populated state spaces. In particular, we extend the Hint Factory by considering data of past students in all states which are similar to the student's current state and creating hints approximating the weighted average of all these reference states. Because the space of possible weighted averages is continuous, we call this approach the Continuous Hint Factory. In our experimental evaluation, we demonstrate that the Continuous Hint Factory can predict more accurately what capable students would do compared to existing prediction schemes on two learning tasks, especially in an open-ended programming task, and that the Continuous Hint Factory is comparable to existing hint policies at reproducing tutor hints on a simple UML diagram task.

연구 동기 및 목표

• 기존 빈도 기반 힌트 시스템이 데이터 부족으로 실패하는 광범위하고 희박하게 구성된 상태 공간에서 효과적인 다음 단계 힌트를 생성하는 데 도전하는 것.
• 연속 임베딩을 활용한 상태 간 유사도 기반 일반화를 통해 힌트 팩토리 프레임워크를 확장하는 것.
• 에디트 기반 힌트 정책을 수학적으로 탄탄한 프레임워크로 구축하여, 드문 방문 또는 미방문 상태에서 학생의 가능성이 높은 행동을 예측할 수 있도록 하는 것.
• CHF가 기존 모델들과 비교해 복잡한 개방형 프로그래밍 과제에서 학생 행동을 더 정확히 예측할 수 있는지 평가하는 것, 특히 전략적 다양성이 높은 과제에서의 성능을 중심으로 한다.

제안 방법

• 연속 에디트 거리 공간을 구성하여 에디트 거리가 유클리드 거리와 대응되도록 하여 상태 간의 보간을 가능하게 한다.
• 유사한 과거 학생 상태들에서의 편집 분포를 가우시안 프로세스로 모델링하고, 이를 가중 평균화한 편집을 힌트로 삼는다.
• 현재 학생 상태와 유사한 기준 상태를 에디트 거리 함수를 사용해 식별한 후, 커널 스무딩을 통해 그들의 편집을 집계한다.
• 예측된 분포에서 가장 가능성이 높은 편집을 힌트로 생성함으로써 능력 있는 학생들의 일반적 경향과 일치시키며, 보장된 품질을 확보한다.
• 유효하고 의미 있는 편집을 보장하기 위해 프로그램 표현의 문법적 및 의미적 정보를 모두 활용한다.
• 두 가지 데이터셋(유니파이드 모델링 다이어그램 과제와 개방형 프로그래밍 과제)을 사용하여 시스템을 평가하며, 기존 정책과의 힌트 품질을 비교한다.

실험 결과

연구 질문

• RQ1 빈도 기반 방법이 실패하는 광범위하고 희박하게 구성된 상태 공간에서 데이터 기반 힌트 정책이 효과적으로 일반화될 수 있는가?
• RQ2 유사한 상태에서 능력 있는 학생이 무엇을 할 것인지 예측하는 데 있어 연속 힌트 팩토리(CHF)는 기존 예측 기반 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 UML 다이어그램 작성과 같이 전략적 다양성이 낮은 과제에서 CHF는 높은 품질의 힌트 생성을 유지하는가?
• RQ4 CHF의 평균화 기반 접근 방식이 개방형 프로그래밍 과제에서 예측 정확도를 얼마나 향상시키는가?

주요 결과

• CHF는 전략적 다양성이 높은 초기 단계에서 특히, 개방형 프로그래밍 과제에서 능력 있는 학생의 행동을 예측하는 데 기존 예측 기반 방법들을 크게 능가했다.
• UML 다이어그램 과제에서는 전문가 수준의 힌트를 기존 힌트 정책과 유사한 성능으로 재현하여 간단한 과제에서의 강건성을 입증했다.
• UML 데이터셋에서 각 트레이스의 첫 세 단계에서 CHF는 완벽한 힌트 품질을 달성하여 초기 지도력 잠재력이 높다는 것을 시사한다.
• 유사한 과거 상태들에서의 편집을 가우시안 프로세스를 통해 평균화하는 방식이 희박한 데이터 환경에서의 예측 정확도 향상에 기여한다는 점을 입증했다.
• CHF의 장점은 개별 학생의 경로가 크게 갈라지는 복잡한 개방형 과제에서 가장 두드러졌다.