[논문 리뷰] Incentives for Truthful Peer Grading

Luca de Alfaro, Michael Shavlovsky외 1명|arXiv (Cornell University)|2016. 04. 11.

Machine Learning and Algorithms참고 문헌 16인용 수 12

한 줄 요약

이 논문은 교육 현장에서 정직한 동료 평가를 장려하기 위해 평탄한 감독, 계층적 감독, 비감독의 세 가지 인센티브 체계를 제안한다. 강사의 감독 또는 통계적 일관성을 통해 학생의 인centive를 정확한 평가와 일치시킴으로써, 정직한 평가가 나시의 균형이 되도록 보장하며, 계층적 및 비감독 방법은 MOOC와 같은 대규모 수업에서도 효율적으로 확장 가능하다.

ABSTRACT

Peer grading systems work well only if users have incentives to grade truthfully. An example of non-truthful grading, that we observed in classrooms, consists in students assigning the maximum grade to all submissions. With a naive grading scheme, such as averaging the assigned grades, all students would receive the maximum grade. In this paper, we develop three grading schemes that provide incentives for truthful peer grading. In the first scheme, the instructor grades a fraction p of the submissions, and penalizes students whose grade deviates from the instructor grade. We provide lower bounds on p to ensure truthfulness, and conclude that these schemes work only for moderate class sizes, up to a few hundred students. To overcome this limitation, we propose a hierarchical extension of this supervised scheme, and we show that it can handle classes of any size with bounded (and little) instructor work, and is therefore applicable to Massive Open Online Courses (MOOCs). Finally, we propose unsupervised incentive schemes, in which the student incentive is based on statistical properties of the grade distribution, without any grading required by the instructor. We show that the proposed unsupervised schemes provide incentives to truthful grading, at the price of being possibly unfair to individual students.

연구 동기 및 목표

• 동료 평가에서 둘러싸인 학생들이 최대 점수를 모두의 과제에 부여함으로써 노력은 최소화하고 보상을 최대화하는 방식의 공모 문제를 해결하기 위해.
• 합리적인 학생들이 공모가 존재하더라도 정직한 평가가 최적 전략이 되도록 하는 인센티브 메커니즘을 설계하기 위해.
• 특히 대규모 수업에서 강사의 참여가 제한적이고 최소화되는 확장 가능한 해법을 개발하기 위해.
• 강사의 평가가 필요 없는 비감독 체계의 공정성과 강건성을 평가하면서, 정직한 평가가 기대값으로 최적 전략이 되도록 보장하기 위해.

제안 방법

• 평탄한 감독 체계에서는 강사가 과제의 일부 분율 $ p $ 를 평가하며, 학생들은 강사의 평가에서 벗어나면 벌을 받는다. 정직한 평가를 확보하기 위해 $ p $ 는 하한선으로 제한된다.
• 계층적 체계는 학생들을 트리 구조로 조직하며, 각 학생은 과제를 평가하고 부모의 평가와 비교한다. 이로써 수업 규모와 관계없이 강사의 작업이 제한된다.
• 비감독 체계에서는 평가자들이 기대 평점 분포와 자신의 평가에서의 분산에서 벗어남을 기반으로 평가되며, 일관성 부족과 분산 부족을 방지하기 위해 손실 함수가 사용된다.
• 손실 함수는 동료 평가 일치도와 분산 일관성을 통합하며, 인센티브와 공정성을 모델링하기 위해 $ \gamma $, $ \eta^2 $, 및 $ \sigma_q^2 $ 를 매개변수로 사용한다.
• 게임 이론적 분석을 통해 제안된 손실 함수 하에서 정직한 평가는 나시의 균형이며, 다른 전략보다 열등하다.
• 이론적 경계를 유도하여, 비용 $ C $ 와 분산 가정 하에서 정직한 평가가 공모 전략 $ \mathcal{D}_\eta $ 보다 손실을 최소화하는 조건을 도출한다.

실험 결과

연구 질문

• RQ1 인센티브가 있는 동료 평가 시스템에서 정직한 평가가 나시의 균형이 되는 조건은 무엇인가?
• RQ2 대규모 동료 평가 시스템에서 정직한 평가를 보장하면서도 강사의 참여를 최소화할 수 있는 방법은 무엇인가?
• RQ3 등급 분포의 통계적 성질에 기반한 비감독 인센티브 체계는 강사의 입력 없이도 정직한 평가를 촉진할 수 있는가?
• RQ4 비감독 평가 체계에서 개인의 공정성과 인센티브 일치 사이의 상충 관계는 무엇인가?
• RQ5 평가 비용이 정직한 평가의 동기를 어떻게 영향을 주며, 비용과 분산의 어떤 경계가 정직한 행동을 보장하는가?

주요 결과

• 평탄한 감독 체계는 강사가 최소한 분율 $ p $ 의 과제를 평가할 경우 정직한 평가를 보장하지만, 이 요구사항은 수업 규모에 따라 증가하여 중간 규모 수업에만 적용 가능하다.
• 계층적 체계는 강사의 노력이 제한되어 있음을 보장하며, 수업 규모와 관계없이 고정된 수의 과제만 강사가 평가하면 된다.
• 비감독 체계에서는 진정한 등급 분포의 분산 $ \sigma_q^2 $ 가 공모 전략의 분산 $ \eta^2 $ 를 초과하고, 평가 비용 $ C < \sigma_q^2 $ 일 때 정직한 평가가 기대값으로 최적이다.
• 비감독 체계는 개인적으로 공정하지 않다: 유사한 품질의 과제를 평가하는 학생들조차도 진정한 품질의 분산이 낮아서 더 많이 벌을 받을 수 있다.
• 비감독 체계에서 정직한 평가가 공모 전략 $ \mathcal{D}_\eta $ 를 압도하는 조건은 $ \gamma $ 가 $ C $, $ \eta^2 $, 및 $ \sigma_q^2 $ 에 기반한 특정 경계를 만족할 때이며, 이는 정직한 평가자에게 더 낮은 손실을 보장한다.
• 이론적 분석을 통해 정직한 평가가 나시의 균형이며, 제안된 인센티브 구조 하에서 다른 어떤 균형보다 더 높은 보상을 얻는다.