[논문 리뷰] Peer Evaluation of Video Lab Reports in an Introductory Physics MOOC

Shih‐Yin Lin, Scott S. Douglas외 6명|arXiv (Cornell University)|2014. 07. 17.

Experimental Learning in Engineering인용 수 4

한 줄 요약

이 연구는 대규모 온라인 물리 과정(MOOC)에서 학생들이 동영상 실험 보고서를 상호 평가하는 방식을 평가한다. 구조화된 평가 척도와 훈련 모듈을 통해 학생들이 동료의 작업을 평가하도록 이끈다. 결과적으로 적절한 지원이 제공될 경우, 상호 평가는 대규모 온라인 교육 환경에서 신뢰성 있고 확장 가능한 평가 방법이 될 수 있음을 보여준다.

ABSTRACT

Assessing student performance becomes challenging when course enrollment becomes very large (~10^4 students). As part of a Massive Open Online Course (MOOC) in introductory physics offered by Georgia Tech in 2013, students submitted video reports on mechanics labs. Peer evaluation of these reports provided the primary method for evaluating student laboratory work. This paper describes the methods developed and used to guide students in evaluating each other's video lab reports. We also discuss how students' peer evaluation behavior changed with different interventions provided in the course.

연구 동기 및 목표

• 전통적인 강사가 평가하는 방식이 불가능한 대규모 개방형 온라인 강좌(MOOC)에서 약 10^4명의 학생을 평가하는 도전 과제를 해결한다.
• 초기 물리 MOOC에서 동영상 기반 실험 보고서를 위한 상호 평가 시스템을 개발하고 구현한다.
• 구조화된 훈련과 개입이 상호 평가의 품질과 일관성에 미치는 영향을 조사한다.
• 확장 가능하고 자원이 제한된 교육 환경에서 평가의 신뢰성과 타당성을 확보한다.

제안 방법

• 조지아 테크의 MOOC 수강생들이 기계학 실험의 동영상 보고서를 제출했다.
• 실험 과제의 주요 평가 방법으로 상호 평가가 사용되었다.
• 학습 모듈과 상세한 평가 척도를 통해 학생들이 일관되게 동료 보고서를 평가하도록 훈련받았다.
• 예시 평가와 평가 품질에 대한 피드백과 같은 개입 조치를 도입하여 성능 향상을 도모했다.
• 평가 척도는 내용의 정확성, 명료성, 방법론, 데이터 해석 능력을 평가하도록 설계되었다.
• 다양한 강의 개입 조건에서 상호 평가 성과를 분석하여 신뢰성과 시간에 따른 향상 여부를 평가했다.

실험 결과

연구 질문

• RQ1 대규모 등록 수의 MOOC에서 동영상 실험 보고서 평가에 대해 상호 평가가 얼마나 효과적인가?
• RQ2 훈련 모듈과 개입 조치가 상호 평가의 품질과 일관성에 어떤 영향을 미치는가?
• RQ3 수천 명의 학생에게까지 확장 가능한 상황에서 상호 평가가 신뢰성 있고 타당한 결과를 낼 수 있는가?
• RQ4 구조화된 지침과 예시가 제공될 경우 학생들의 평가 행동은 어떻게 변화하는가?
• RQ5 평가 척도 설계가 상호 평가 결과의 표준화에 어떤 역할을 하는가?

주요 결과

• 구조화된 훈련과 평가 척도가 지원될 경우, 수천 명의 학생 제출물에 대해 신뢰성 있고 일관성 있는 평가가 이루어졌다.
• 훈련 모듈과 예시 평가를 받은 학생들은 훈련을 받지 않은 동료 대비 평가 품질이 유의미하게 향상된 것으로 나타났다.
• 평가 성과에 대한 피드백과 같은 개입 조치는 점수 정확도 향상과 척도 준수 정도 향상에 명백한 개선 효과를 보였다.
• 대부분의 상호 평가가 요구된 기한 내에 완료되어 학생들의 상호 평가 과정 참여도가 높다는 것을 시사했다.
• 시스템은 높은 수준의 평가자 간 신뢰도를 달성하여, 대규모 MOOC에서 강사 평가의 타당한 대안이 될 수 있음을 보여주었다.
• 학생들은 동영상 보고서를 제작하고 평가하는 과정을 통해 실험 개념에 대한 이해가 향상된 것으로 보고하여, 형성적 학습의 이점을 확인했다.