[논문 리뷰] Tuned Models of Peer Assessment in MOOCs

Chris Piech, Jonathan Huang외 4명|arXiv (Cornell University)|2013. 07. 09.

Mobile Crowdsensing and Crowdsourcing참고 문헌 14인용 수 240

한 줄 요약

이 논문은 Coursera의 HCI 과정에서 수집한 63,199건의 동료 평가 데이터를 대규모 데이터셋으로 활용하여, 평가자들의 편향과 신뢰도를 추정하고 보정함으로써 MOOC에서의 동료 평가 정확도를 향상시키기 위한 확률 모델을 제안한다. 이 모델들은 중앙값 기반 평가 방식과 비교해 루트 평균 제곱 오차(RMSE)를 30% 이상 감소시키며, 평가자 신뢰도, 참여도, 성과 간의 강력한 상관관계를 드러낸다.

ABSTRACT

In massive open online courses (MOOCs), peer grading serves as a critical tool for scaling the grading of complex, open-ended assignments to courses with tens or hundreds of thousands of students. But despite promising initial trials, it does not always deliver accurate results compared to human experts. In this paper, we develop algorithms for estimating and correcting for grader biases and reliabilities, showing significant improvement in peer grading accuracy on real data with 63,199 peer grades from Coursera's HCI course offerings --- the largest peer grading networks analysed to date. We relate grader biases and reliabilities to other student factors such as student engagement, performance as well as commenting style. We also show that our model can lead to more intelligent assignment of graders to gradees.

연구 동기 및 목표

• 비전문가 평가자들에 의한 일관성 없거나 편향된 평가로 인해 악화되는 MOOC에서의 동료 평가 정확도를 향상시키기 위해.
• 동료 평가의 특이성(이상치)을 보정하기 위해 평가자별 편향과 신뢰도를 모델링하기 위해.
• 참여도, 성과, 코멘트 스타일과 같은 평가자 특성과 평가 품질 간의 관계를 탐색하기 위해.
• 추정된 평가자 신뢰도와 편향을 활용해 더 스마트한 평가자-제출물 할당을 가능하게 하기 위해.
• 제출물 점수의 불확실성을 추정함으로써 공정하고 투명한 평가를 제공하기 위해.

제안 방법

• 저자들은 베이지안 프레임워크를 사용하여 제출물 점수, 평가자 편향, 평가자 신뢰도를 동시에 추정하는 확률적 동료 평가 모델(PG1, PG2, PG3)을 개발한다.
• 모델 PG3는 평가자들이 또한 학생이라는 점(즉, 평가자이자 평가 대상자라는 점)을 명시적으로 고려하여 성과를 자기 일관성 있게 추정할 수 있도록 한다.
• 정규화를 위해 계층적 사전 분포 구조를 사용하여 추정치의 일반화 능력을 향상시키며, 특히 평가 수가 적은 평가자에게 유리하다.
• 평가 성과는 참여도, 이전 성과, 코멘트 스타일과 같은 학생 수준의 특징에 따라 모델링된다.
• 각 제출물의 최종 점수에 대한 불확실성을 추정함으로써 공정하고 투명한 평가 결과를 가능하게 한다.
• 모델은 HCI1 데이터셋으로 훈련되고, 일반화 능력을 확보하기 위해 독립된 HCI2 데이터셋으로 검증된다.

실험 결과

연구 질문

• RQ1 평가자별 편향과 신뢰도를 모델링함으로써 동료 평가 정확도를 어떻게 향상시킬 수 있는가?
• RQ2 참여도, 성과, 코멘트 스타일과 같은 학생 수준의 요소들이 높은 평가자 신뢰도와 어떤 상관관계가 있는가?
• RQ3 단순 중앙값 기반 집계 방식과 비교해 확률 모델이 동료 평가의 RMSE를 감소시킬 수 있는가?
• RQ4 제출물 점수에 대한 불확실성 추정치가 공정성과 투명성 향상에 어떻게 기여하는가?
• RQ5 예측된 신뢰도를 기반으로 제출물에 평가자를 더 잘 할당할 수 있는가?

주요 결과

• 제안된 모델들은 기준 중앙값 집계 방식과 비교해 동료 평가의 루트 평균 제곱 오차(RMSE)를 30퍼센트 이상 감소시킨다.
• 평가자 신뢰도는 학생의 참여도, 이전 과정 성과, 자신의 코멘트 품질과 강하게 상관된다.
• 더 많은 시간을 투자해 평가하는 학생일수록 더 정확한 평가를 하므로, 시간 투자가 평가 품질의 핵심 예측 변수임을 시사한다.
• 모델은 제출물 점수의 불확실성을 성공적으로 추정하여 공정하고 투명한 평가 결과를 가능하게 한다.
• 특히 초기에 높거나 낮은 편향을 보인 학생의 경우, 확률 모델을 사용함으로써 평가자 편향이 크게 감소한다.
• 모델은 예상 정확도를 극대화하는 방식으로 평가자를 제출물에 할당함으로써 전체 평가 프로세스를 향상시킬 수 있다.