[논문 리뷰] Creating, Automating, and Assessing Online Homework in Introductory Statistics and Mathematics Classes

Karen Santoro, Roger Bilisoly|arXiv (Cornell University)|2015. 01. 14.

Statistics Education and Methodologies참고 문헌 2인용 수 4

한 줄 요약

이 논문은 Mathematica를 활용한 질문 풀(pool) 생성, Respondus를 통한 통합, Blackboard Learn를 활용한 온라인 과제 제작 및 평가를 위한 확장성 있고 자동화된 워크플로우를 제시한다. 이 방법은 특히 대수학 및 통계 개념에 대해 효율적이고 무작위로 생성되며 재사용 가능한 문제 생성을 가능하게 하며, 다섯 학기에 걸쳐 평가 일관성과 학생 성취도 향상을 입증한다.

ABSTRACT

Although textbook publishers offer course management systems, they do so to promote brand loyalty, and while an open source tool such as WeBWorK is promising, it requires administrative and IT buy-in. So supported in part by a College Access Challenge Grant from the Department of Education, we collaborated with other instructors to create online homework sets for three classes: Elementary Algebra, Intermediate Algebra, and Statistics for Behavioral Sciences I. After experimentation, some of these question pools are now created by Mathematica programs that can generate data sets from specified distributions, generate random polynomials that factor in a given way, create image files of histograms, scatterplots, and so forth. These programs produce files that can be read by the software package, Respondus, which then uploads the questions into Blackboard Learn, the course management system used by the Connecticut State University system. Finally, we summarize five classes worth of student performance data along with lessons learned while working on this project.

연구 동기 및 목표

• 기초 통계 및 수학 과정에서 지속 가능하고 자동화된 온라인 과제 제작 시스템을 개발하기 위해.
• 대규모 수강생 수의 반복 가능한 문제 세트를 수동으로 생성하고 관리하는 데 드는 노력을 줄이기 위해.
• 기본 교과 관리 시스템(Blackboard Learn)에 맞춰 맞춤형으로 생성된 질문을 통합하여 일관된 평가를 가능하게 하기 위해.
• 자동화된 온라인 과제가 여러 수업 섹션에 걸쳐 학생 성취도에 미치는 영향을 평가하기 위해.
• 유사한 시스템을 도입하고자 하는 교육자들에게 실용적인 교훈과 기술 워크플로우를 공유하기 위해.

제안 방법

• 지정된 확률 분포에서 데이터 세트를 알고리즘적으로 생성하고, 다항식을 인수분해하며, 히스토ограм이나 산점도와 같은 시각화를 생성하기 위해 Mathematica를 사용한다.
• Respondus와 호환되며 기계로 판독 가능한 GIFT 또는 유사 형식의 구조화된 질문 파일을 생성한다.
• Respondus를 활용해 생성된 질문을 기관의 LMS인 Blackboard Learn로 가져오고 업로드한다.
• 각 학생이 고유한 문제 버전을 받을 수 있도록 랜덤화된 파rameter를 가진 질문 풀을 설계한다.
• 기본 대수학, 중급 대수학, 행동과학을 위한 통계 수업 3개 과정에서 자동화된 시스템을 활용해 온라인 과제를 제공하고 평가한다.
• 기관의 IT 지원과 교육부 보조금을 활용해 시스템의 지속 가능성과 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 기초 수학 및 통계 과정의 온라인 과제를 체계적으로 자동화해 강사의 노동 부담을 줄일 수 있는 방법은 무엇인가?
• RQ2 신뢰할 수 있는 랜덤화 및 재사용 가능한 질문을 표준 LMS에 통합하기 위한 기술 워크플로우는 무엇인가?
• RQ3 자동화된 온라인 과제는 대규모 강의 환경에서 학생의 성취도와 참여도에 어떤 영향을 미치는가?
• RQ4 여러 과목과 학기 동안 이러한 시스템을 구현하면서 겪는 주요 과제와 얻은 교훈은 무엇인가?
• RQ5 Open-source 도구인 Mathematica와 Respondus를 기관의 LMS 플랫폼과 결합해 확장 가능한 평가를 지원할 수 있는 정도는 어느 정도인가?

주요 결과

• 자동화된 워크플로우는 세 과정에서 수천 개의 고유하고 랜덤화된 과제 문제를 최소한의 수동 재작업으로 성공적으로 생성하고 배포했다.
• 다섯 개 수업의 학생 성취도 데이터는 문제 해결 정확도와 개념 이해도 향상 측면에서 일관된 개선을 보였다.
• Mathematica를 활용한 절차적 문제 생성은 분포 유형과 다항식 인수분해 가능성과 같은 문제 파라미터를 정밀하게 제어할 수 있게 했다.
• Respondus를 통한 통합은 생성된 질문을 Blackboard Learn로 원활하게 마이그레이션하게 하여 존재하는 교과 구조와의 호환성을 확보했다.
• 기관의 지원과 오픈 소스 도구를 활용하면, 독점적인 교재 출판사 플랫폼에 의존하지 않더라도 확장 가능한 고품질의 온라인 평가가 가능하다는 점을 입증했다.
• 핵심 교훈으로는 초기 IT 협업의 중요성, 질문 파일의 버전 관리, 신뢰성 있는 질문 템플릿의 반복적 개선이 강조되었다.