[논문 리뷰] Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments

Steven Jecmen, Hanrui Zhang외 4명|arXiv (Cornell University)|2020. 06. 29.

Expert finding and Q&A systems참고 문헌 50인용 수 23

한 줄 요약

이 논문은 학술 동료 심사의 오용을 완화하기 위해 무작위 리뷰어 배정 알고리즘을 제안한다. 이는 상호 이권, 어뢰 리뷰, 리뷰어 신원 노출을 포함한다. 확률적 제약 조건 하에서 리뷰어-논문 배정을 최적화함으로써 악성 배정 성공률을 50% 이하로 제한하면서도 최적 유사도의 90% 이상을 유지하고 갈등의 이권을 방지한다.

ABSTRACT

We consider three important challenges in conference peer review: (i) reviewers maliciously attempting to get assigned to certain papers to provide positive reviews, possibly as part of quid-pro-quo arrangements with the authors; (ii) "torpedo reviewing," where reviewers deliberately attempt to get assigned to certain papers that they dislike in order to reject them; (iii) reviewer de-anonymization on release of the similarities and the reviewer-assignment code. On the conceptual front, we identify connections between these three problems and present a framework that brings all these challenges under a common umbrella. We then present a (randomized) algorithm for reviewer assignment that can optimally solve the reviewer-assignment problem under any given constraints on the probability of assignment for any reviewer-paper pair. We further consider the problem of restricting the joint probability that certain suspect pairs of reviewers are assigned to certain papers, and show that this problem is NP-hard for arbitrary constraints on these joint probabilities but efficiently solvable for a practical special case. Finally, we experimentally evaluate our algorithms on datasets from past conferences, where we observe that they can limit the chance that any malicious reviewer gets assigned to their desired paper to 50% while producing assignments with over 90% of the total optimal similarity. Our algorithms still achieve this similarity while also preventing reviewers with close associations from being assigned to the same paper.

연구 동기 및 목표

• 국제 회의 동료 심사의 세 가지 주요 유효성 위협인 악성 선호, 어뢰 리뷰, 리뷰어 신원 노출을 해결하기 위해.
• 이러한 문제들을 리뷰어 배정의 공통된 확률적 프레임워크 아래 통합하기 위해.
• 사용자가 지정한 제약 조건(개별 및 병렬 리뷰어-논문 배정 확률)을 만족하는 계산 효율적인 무작위 배정 알고리즘을 설계하기 위해.
• 무작위 배정 알고리즘의 성능을 실증적으로 평가하여 오용을 제한하면서도 높은 리뷰어-논문 유사도를 유지하고 리뷰어 갈등을 방지하기 위해.

제안 방법

• 저자는 특정 리뷰어가 주어진 논문에 배정될 수 있는 마진널 확률에 대한 제약 조건을 포함한 무작위 배정 문제를 수립한다.
• 리뷰어-논문 유사도를 모델링하고 선형 프로그래밍을 사용해 이러한 제약 조건 하에서 최적의 무작위 배정을 계산하는 프레임워크를 제안한다.
• 리뷰어 쌍에 대한 병렬 제약 조건(예: 협력자들이 동일한 논문을 리뷰하지 못하도록)을 위해 특수한 경우인 '분할 제약 문제'를 식별하고, 이는 효율적으로 해결 가능하다.
• 알고리즘은 프로그램 책임자가 상호 유사도, 오용 저항성, 갈등 방지 간의 트레이드오프를 조정할 수 있도록 탄력적으로 설계되어 있다.
• 이 방법은 개별 및 쌍별 제약 조건을 모두 지원하여 공모나 신원 노출 위험을 완화할 수 있다.
• 실증적 평가에서는 실제 회의 데이터셋을 사용해 다양한 입찰 시나리오에서 무작위 알고리즘과 결정론적 배정 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 무작위 배정 알고리즘이 악성 리뷰어가 목표 논문에 배정될 확률을 50%와 같은 사전 정의된 임계값 이하로 효과적으로 제한할 수 있는가?
• RQ2 리뷰어-논문 유사도와 오용 저항성 측면에서 무작위 알고리즘의 성능은 결정론적 배정과 비교해 어떻게 되는가?
• RQ3 협력자들이 동일한 논문을 리뷰하지 못하도록 리뷰어 쌍에 대한 병렬 제약 조건을 시행하면서도 높은 배정 품질을 유지하는 것은 계산적으로 가능한가?
• RQ4 유사도와 코드가 공개된 상황에서도, 할당 데이터가 공개될 경우 리뷰어 신원 노출을 방지할 수 있는가?
• RQ5 리뷰어-논문 유사도를 최대화하고 오용 또는 갈등의 이권 위험을 최소화하는 데서 발생하는 트레이드오프는 무엇인가?

주요 결과

• 제안된 알고리즘은 입찰 행동에 관계없이 악성 리뷰어가 목표 논문에 배정될 확률을 최대 50% 이하로 제한한다.
• 알고리즘은 결정론적 배정에 비해 총 최적 유사도의 90% 이상을 달성하여 높은 배정 품질을 유지한다.
• 낮은 유사도 리뷰어(예: 100위)의 경우에도 알고리즘이 오용 성공률을 50% 이하로 제한하지만, 이러한 경우는 이미 성공 가능성이 낮다.
• 근접한 관련성을 가진 리뷰어들이 동일한 논문에 배정되지 않도록 알고리즘이 성공적으로 방지하여 갈등의 이권 위험을 줄였다.
• 실험 결과에 따르면 결정론적 알고리즘은 높은 오용 성공률(예: 8위 리뷰어가 악성 입찰 시 확실한 배정 가능)을 보였지만, 무작위 방법은 50%의 상한선을 유지했다.
• 알고리즘은 입찰 오용에 강건하며, 유사도와 할당 코드가 공개된 상황에서도 강력한 익명성 보장을 제공한다.