[논문 리뷰] PeerReview4All: Fair and Accurate Reviewer Assignment in Peer Review

Ivan Stelmakh, Nihar B. Shah외 1명|arXiv (Cornell University)|2018. 06. 16.

Game Theory and Voting Systems인용 수 31

한 줄 요약

PeerReview4All는 최대 최소 공정성(가장 불리한 논문의 리뷰 품질을 최대화)을 최적화하면서도 상위 논문을 식별하는 데 높은 통계적 정확도를 보장하는 새로운 리뷰어 할당 알고리즘을 제안한다. 이 알고리즘은 구조화된 유량 네트워크에서 점진적인 최대 유량 절차를 사용하여 근사 최적의 할당을 생성하며, 객관적 및 주관적 리뷰어 점수 모델 하에서 공정성과 정확성에 이론적 보장을 제공한다.

ABSTRACT

We consider the problem of automated assignment of papers to reviewers in conference peer review, with a focus on fairness and statistical accuracy. Our fairness objective is to maximize the review quality of the most disadvantaged paper, in contrast to the commonly used objective of maximizing the total quality over all papers. We design an assignment algorithm based on an incremental max-flow procedure that we prove is near-optimally fair. Our statistical accuracy objective is to ensure correct recovery of the papers that should be accepted. We provide a sharp minimax analysis of the accuracy of the peer-review process for a popular objective-score model as well as for a novel subjective-score model that we propose in the paper. Our analysis proves that our proposed assignment algorithm also leads to a near-optimal statistical accuracy. Finally, we design a novel experiment that allows for an objective comparison of various assignment algorithms, and overcomes the inherent difficulty posed by the absence of a ground truth in experiments on peer-review. The results of this experiment as well as of other experiments on synthetic and real data corroborate the theoretical guarantees of our algorithm.

연구 동기 및 목표

• 편향되거나 최적화되지 않은 할당이 비주류 또는 다학문적 연구에 비례적으로 악영향을 미칠 수 있는 대규모 컨퍼런스 피어 리뷰에서 공정하고 정확한 리뷰어 할당의 필수적 필요성을 해결한다.
• 총 리뷰 품질이나 결정론적 목표를 최적화하는 데에 치중하지만 공정성 또는 통계적 정확성을 고려하지 않는 이전 방법의 한계를 극복한다.
• 가장 불리한 논문이 가능한 한 높은 리뷰 품질을 확보할 수 있도록 보장하는 알고리즘을 설계함으로써 최대 최소 공정성 원칙과 일치시킨다.
• 노이즈가 많고 주관적인 리뷰어 점수에도 불구하고 진정으로 상위 논문의 집합을 식별하는 데 강력한 통계적 정확도를 달성한다.
• 기본 진실(ground truth)이 없는 상황에서 할당 알고리즘을 객관적으로 비교할 수 있는 새로운 실험 프레임워크를 개발한다.

제안 방법

• 논문과 리뷰어를 나타내는 노드를 갖는 유량 네트워크를 구축하며, 간선 가중치는 리뷰어-논문 유사도 점수를 나타낸다.
• 다양한 후보 할당을 생성하기 위해 점진적인 최대 유량 절차를 사용하고, 공정성과 정확성을 최적화하는 할당을 선택한다.
• 재귀적 공정성 최적화를 적용: 가장 불리한 논문의 할당을 먼저 고정한 후 다음으로 불리한 논문으로 점진적으로 진행하여 점진적인 공정성을 확보한다.
• 객관적 점수 모델과 새로운 주관적 점수 모델을 통합하며, 리뷰어 점수를 알려진 분산을 가진 랜덤 변수로 간주한다.
• 평균 추정기법을 사용해 리뷰어 점수로부터 논문 순위를 복원하고, 추정 오차에 대한 최소최대 경계(minimax bounds)를 유도하여 통계적 정확도를 평가한다.
• 이론적 분석을 활용해 PeerReview4All가 이론적 최적의 최대 최소 공정성에 대해 일정 요소 내에서 근사 최적의 공정성을 달성하고, 통계적 정확성에서도 근사 최적의 성능을 보임을 증명한다.

실험 결과

연구 질문

• RQ1 자동화된 리뷰어 할당 알고리즘이 상위 논문을 식별하는 데 있어 높은 통계적 정확도를 확보하면서도 근사 최적의 최대 최소 공정성을 달성할 수 있는가?
• RQ2 실제 리뷰어 행동 모델 하에서 기존 방법과 비교해 제안된 PeerReview4All 알고리즘이 공정성과 정확성 측면에서 어떻게 성능을 내는가?
• RQ3 기본 진실이 없는 상황에서 객관적으로 리뷰어 할당 알고리즘을 평가할 수 있는 새로운 실험 프로토콜을 설계할 수 있는가?
• RQ4 객관적 점수 모델과 주관적 점수 모델 모두에 대해 피어 리뷰 설정에서 통계적 정확도에 대한 최소최대 경계(minimax bounds)는 무엇인가?
• RQ5 PeerReview4All의 점진적 최대 유량 구조가 리뷰어와 논문 간 다양한 유사성 구조에서 증명 가능한 공정성 및 정확성 보장을 제공하는가?

주요 결과

• PeerReview4All는 이론적 최적값에 대해 일정 요소 내에서 근사 최적의 공정성을 달성하며, 최대 최소 공정성 목표가 이론적 최적값에 비해 일정 범위 내에 제한됨을 입증한다.
• 알고리즘은 리뷰어 점수의 노이즈와 주관성에도 불구하고 진정의 논문 순위를 회복하는 데 강력한 통계적 정확도를 확보하며, 추정 오차의 최소최대 경계가 리뷰어 부담과 점수 분산에 유리하게 스케일링됨을 보여준다.
• 제안된 실험 프레임워크를 통해 리뷰어 피드백을 시뮬레이션하고 진정의 논문 순위 복원 정도를 측정함으로써 할당 알고리즘 간의 객관적 비교가 가능해진다.
• 합성 및 실재 데이터에 대한 실증 평가 결과, PeerReview4All는 특히 리뷰어 전문성의 불균형이 있는 상황에서 기준 방법 대비 공정성과 정확성 측면에서 뛰어난 성능을 보임을 확인한다.
• 이론적 분석을 통해 알고리즘의 공정성 및 정확성 보장이 객관적 점수 모델과 새로운 주관적 점수 모델 양쪽 모두에서 성립함을 입증한다.
• 리뷰어 점수가 노이즈가 많거나 주관적인 경우에도 PeerReview4All는 일반적인 피어 리뷰 과제에 대한 강건성을 보이며, 뛰어난 성능 유지를 유지한다.