[논문 리뷰] Enhanced Learning with Web-Assisted Education

Anna Helga Jónsdóttir, Gunnar Stefánsson|arXiv (Cornell University)|2013. 10. 17.

Statistics Education and Methodologies참고 문헌 8인용 수 3

한 줄 요약

이 연구는 통계 및 수학 교육을 위한 무료이고 오픈소스의 웹 기반 교육 시스템인 tutor-web을 평가한다. 상호작용형 퀴즈를 활용하여 학습을 향상시키는 방식이다. 랜덤화된 크로스오버 실험 결과, tutor-web을 사용하는 학생들과 전통적인 서면 과제를 수행하는 학생들 간의 시험 성적에 유의미한 차이가 없었으며, 이는 tutor-web이 시간이 많이 소요되는 서면 과제를 효과적으로 대체할 수 있음을 시사한다. 그러나 학생들의 피드백은 혼합형 접근을 선호한다는 것을 보여주었다. 항목 반응 이론 분석을 통해 다양한 학습자 능력 수준을 더 잘 지원하기 위해 더 어려운 문제들이 항목 은행에 더 필요하다는 점이 드러났다.

ABSTRACT

An educational system, the tutor-web (http://tutor-web.net), has been developed and used for educational research. The system is accessible and free to use for anyone having access to the Web. It is based on open source software and the teaching material is licensed under the Creative Commons Attribution-ShareAlike License. The system has been used for computer-assisted education in statistics and mathematics. It offers a unique way to structure and link together teaching material and includes interactive quizzes with the primary purpose of increasing learning rather than mere evaluation. The system was used in a course on basic statistics in 2011. Three types of data were gathered during the course. A randomized crossover experiment was conducted to assess the possible difference in learning (measured by repeated exams) between students using the system and students doing regular homework. The difference between the groups was not found to be significant. Responses to quiz questions were collected and analysed with item response theory type models. These analysis were used to improve the item banks. Finally, the students answered an in-class survey regarding their experience using the tutor-web. The responses of the students gave clear indications of student preferences.

연구 동기 및 목표

• tutor-web을 통한 웹 기반 교육이 전통적인 서면 과제에 비해 학습 성과를 향상시키는지 평가하는 것.
• 항목 반응 이론(Impact Response Theory, IRT) 모델을 활용해 기존 퀴즈 항목 은행의 적정성을 평가하는 것.
• tutor-web 시스템을 교육적 목적에 사용할 때 학생들의 인식과 선호도를 이해하는 것.

제안 방법

• tutor-web 퀴즈를 사용하는 학생들과 전통적인 서면 과제를 수행하는 학생들 간의 시험 점수를 비교하기 위해 랜덤화된 크로스오버 실험을 실시하였다.
• 학생들이 퀴즈 문제에 응답한 결과를 분석하고 항목 은행의 품질을 평가하기 위해 항목 반응 이론(Impact Response Theory, IRT) 모델을 적용하였다.
• 학생 성과에 따라 난이도를 조정하는 적응형 항목 할당을 위한 확률 질량 함수를 사용하였으며, 저성취 학생에게는 더 쉬운 문제를, 고성취 학생에게는 더 어려운 문제를 더 높은 확률로 배정하였다.
• 학생 설문 데이터를 수집하고 분석하여 tutor-web 시스템에 대한 만족도, 사용성 및 선호도를 평가하였다.
• 학생 성적과 성과 기록을 기반으로 조정되는 난이도 가중 확률 함수를 사용한 동적 항목 할당 체계를 구현하였다.
• 학생 능력에 따라 항목 선택을 조절하는 파rametric 확률 질량 함수(식 7)를 개발하였으며, 분포의 급격함을 제어하는 조정 가능한 파rameter q를 포함하고 있다.

실험 결과

연구 질문

• RQ1 tutor-web 퀴즈를 사용하는 학생들과 전통적인 서면 과제를 수행하는 학생들 간에 학습 성과에 유의미한 차이가 있는가?
• RQ2 tutor-web의 기존 퀴즈 항목 은행이 다양한 능력 수준의 학생들을 충분히 지원하도록 적절하게 校정되어 있는가?
• RQ3 tutor-web을 과제 및 학습에 사용할 때 학생들의 인식과 선호도는 어떠한가?

주요 결과

• tutor-web을 사용하는 학생들과 전통적인 과제를 수행하는 학생들 간의 평균 시험 점수에 통계적으로 유의미한 차이가 없었으며, 이는 동일한 학습 성과를 달성했음을 시사한다.
• 학생들은 tutor-web 시스템에 대해 높은 만족도를 보였지만, tutor-web과 서면 과제를 모두 포함하는 혼합형 접근을 강하게 선호했다.
• 항목 반응 이론 분석 결과, 현재 항목 은행에는 고성취 학생들을 위해 충분한 어려운 문제들이 부족함을 확인하였다.
• 항목 할당을 위한 확률 질량 함수(식 7)는 학생 성과에 따라 질문 난이도를 동적으로 조정하도록 설계되었으며, 저성취 학생에게는 더 쉬운 문제, 고성취 학생에게는 더 어려운 문제를 더 높은 확률로 배정하도록 하였다.
• 현재 시스템의 항목 할당 방법은 균일 분포를 사용하고 있었지만, 이는 최적화되지 않은 것으로 밝혀져 성과 기반의 적응형 방식으로 대체되고 있다.
• 이 연구는 tutor-web이 일부 범위에서 전통적인 서면 과제를 효과적으로 대체할 수 있으며, 교사의 시간과 노력을 절약하면서도 학습 성과를 유지할 수 있음을 결론지었다.