[논문 리뷰] A Motivation Model of Peer Assessment in Programming Language Learning

Yanqing Wang, Yaowen Liang외 2명|arXiv (Cornell University)|2014. 01. 18.

Student Assessment and Feedback참고 문헌 26인용 수 13

한 줄 요약

이 논문은 프로그래밍 과정 내 동료 평가에서 공감대가 형성되지 않는 현상을 탐지하기 위해 리뷰 이질성과 극단화를 사용하는 동기 모델을 제안한다. EduPCR4 시스템에 구현된 이 모델은 일관성 문제가 발생할 경우 교사의 중재를 유도함으로써 평가 신뢰도를 향상시킨다. C 프로그래밍 과정에서의 검증을 통해 동료 평가의 품질과 공정성이 향상됨을 입증하였다.

ABSTRACT

Peer assessment is an efficient and effective learning assessment method that has been used widely in diverse fields in higher education. Despite its many benefits, a fundamental problem in peer assessment is that participants lack the motivation to assess others' work faithfully and fairly. Non-consensus is a common challenge that makes the reliability of peer assessment a primary concern in practices. This research proposes a motivation model that uses review deviation and radicalization to identify non-consensus in peer assessment. The proposed model is implemented as a software module in a peer code review system called EduPCR4. EduPCR4 is able to monitor this measure and trigger teacher's arbitration when it detects possible non-consensus. An empirical study conducted in a university-level C programming course showed that the proposed model and its implementation helped to improve the peer assessment practices in many aspects.

연구 동기 및 목표

• 프로그래밍 과정에서 학생들이 공정하고 충실한 동료 평가를 제공하는 데에 대한 동기 부족 문제를 해결하기 위해.
• 신뢰도에 영향을 주는 주요 과제인 동료 평가에서의 공감대가 형성되지 않는 현상을 식별하기 위해.
• 평가 행동을 모니터링하고 필요에 따라 교사의 간섭을 유도하는 모델을 개발하기 위해.
• 불일치 평가를 자동으로 탐지함으로써 동료 평가의 품질과 공정성을 향상시키기 위해.
• 이 모델의 효과성을 실제 대학 수준의 프로그래밍 과정에서 검증하기 위해.

제안 방법

• 모델은 학생의 평가와 동일한 작업에 대한 평균 평가 간의 차이를 정량화하는 리뷰 이질성(Review Deviation)을 사용한다.
• 극단화(Radicalization)는 학생의 평가가 여러 동료 평가에서 평균에서 얼마나 벗어나 있는지를 측정한다.
• 이러한 지표들은 EduPCR4 동료 코드 리뷰 시스템 내에서 실시간으로 계산된다.
• 리뷰 이질성 또는 극단화가 사전 정의된 임계값을 초과할 경우, 시스템은 해당 평가를 교사의 중재 대상으로 표시한다.
• 시스템은 평가 패턴을 로깅하고, 공감대가 형성되지 않는 경우 교사가 간섭할 수 있도록 한다.
• 모델은 EduPCR4 내 소프트웨어 모듈에 통합되어 자동 모니터링과 간섭을 가능하게 한다.

실험 결과

연구 질문

• RQ1 프로그래밍 언어 학습에서 동료 평가의 공감대가 형성되지 않는 현상을 효과적으로 탐지할 수 있는 방법은 무엇인가?
• RQ2 공정하거나 일관되지 않은 평가를 신뢰할 수 있게 식별할 수 있는 지표는 무엇인가?
• RQ3 공감대가 형성되지 않는 현상을 자동으로 탐지하면 동료 평가의 품질과 공정성은 어떻게 향상되는가?
• RQ4 이러한 지표에 기반한 교사의 중재는 평가 신뢰도를 어느 정도 향상시키는가?
• RQ5 행동 이질성에 기반한 동기 모델은 동료 평가에 대한 학생의 참여도를 향상시킬 수 있는가?

주요 결과

• 모델은 동료 평가에서 리뷰 이질성과 극단화 지표를 통해 공감대가 형성되지 않는 사례를 성공적으로 탐지하였다.
• 시스템의 자동 탐지 기능은 불일치 평가를 교사 검토 대상으로 표시함으로써 신뢰할 수 없는 평가의 위험을 줄였다.
• C 프로그래밍 과정에서의 실증 결과는 모델을 구현한 후 평가의 품질과 공정성이 향상됨을 보여주었다.
• 시스템이 잠재적인 공감대가 형성되지 않는 현상을 경고할 경우, 학생들은 더 일관되고 공정한 평가를 제공할 가능성이 커졌다.
• 모델 경고에 기반한 교사의 중재는 더 신뢰할 수 있는 최종 평가 점수를 도출하는 데 기여하였다.
• EduPCR4에 모델을 통합함으로써 실제 교육 현장에서의 실용성과 효과성이 입증되었다.