[논문 리뷰] Strategyproofing Peer Assessment via Partitioning: The Price in Terms of Evaluators' Expertise

Komal Dhull, Steven Jecmen외 2명|arXiv (Cornell University)|2022. 01. 25.

Auction Theory and Applications인용 수 4

한 줄 요약

이 논문은 전략적 투표를 방지하기 위해 분할 기반 전략상 불가능한 평가 메커니즘을 제안하며, 평가자-제출물 전문성 매칭을 최적화한다. 전략상 불가능성의 가격—전문성 품질의 손실에 대한 교환 비용—을 최소화하는 다항식 시간 알고리즘을 도입하여 실제 컨fer런스 데이터 기준으로 비전략상 불가능한 할당과 비교해 11.7%의 유사도 손실을 기록하며, 높은 저자성 검토자를 제외한 경우 8.9%로 향상된다.

ABSTRACT

Strategic behavior is a fundamental problem in a variety of real-world applications that require some form of peer assessment, such as peer grading of homeworks, grant proposal review, conference peer review of scientific papers, and peer assessment of employees in organizations. Since an individual's own work is in competition with the submissions they are evaluating, they may provide dishonest evaluations to increase the relative standing of their own submission. This issue is typically addressed by partitioning the individuals and assigning them to evaluate the work of only those from different subsets. Although this method ensures strategyproofness, each submission may require a different type of expertise for effective evaluation. In this paper, we focus on finding an assignment of evaluators to submissions that maximizes assigned evaluators' expertise subject to the constraint of strategyproofness. We analyze the price of strategyproofness: that is, the amount of compromise on the assigned evaluators' expertise required in order to get strategyproofness. We establish several polynomial-time algorithms for strategyproof assignment along with assignment-quality guarantees. Finally, we evaluate the methods on a dataset from conference peer review.

연구 동기 및 목표

• 전략적 행동을 다루기 위한 경쟁적 평가에서 평가자가 자신의 제출물 결과를 향상시키기 위해 점수를 왜곡할 수 있는 상황을 해결하기 위해.
• 전략상 불가능성과 평가자-제출물 전문성 매칭 간의 교환 비용을 연구하고, '전략상 불가능성의 가격'을 정량화하기 위해.
• 전략상 불가능성 제약 조건 하에서 할당 품질을 최대화하는 계산 효율적인 알고리즘을 설계하기 위해.
• 실제 컨퍼런스 평가 데이터, 특히 ICLR 2018을 기반으로 제안된 방법의 실증적 평가를 수행하기 위해.
• 높은 저자성 검토자의 제거가 실제 평가 설정에서 전략상 불가능한 분할의 품질과 전문성 유지에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 각 평가자가 자신의 작업에 영향을 미치지 못하도록 하기 위해, 평가자를 서로 다른 하위집합의 제출물에만 할당하는 분할 메커니즘을 사용한다. 이는 전략상 불가능성을 보장한다.
• 알고리즘 5를 제안하여 저자성 그래프의 연결 성분을 분할하는 휴리스틱 기법을 제공하며, 하중 균형과 전문성 유사도를 최대화한다.
• 평가자-제출물 쌍과 그 최적 할당 간의 유사도 측정 기준을 도입하여 할당 품질의 손실를 정량화한다.
• 큰 연결 성분을 줄이고 분할의 유연성을 향상시키기 위해, 3篇 이상의 논문을 기여한 평가자를 사전 처리 단계에서 제거한다.
• 랜덤 분할 및 이전 연구와의 성능 비교를 위해, 유사도 손실, 하중 균형, 점수 분포 유사도 등의 지표를 사용한다.
• 실제 성능 평가를 위해 표준 컨퍼런스 하중 조건(k_p=3, k_a=6)을 적용한 ICLR 2018 데이터셋을 사용한다.

실험 결과

연구 질문

• RQ1 분할을 통한 전략상 불가능성 강제 시 전문성 품질 손실의 기본 한계는 무엇인가?
• RQ2 전략상 불가능성 제약 조건 하에서 근사 최적 할당 품질을 달성하는 다항식 시간 알고리즘을 어떻게 설계할 수 있는가?
• RQ3 실제 평가 설정에서 높은 저자성 검토자를 제거하면 전략상 불가능한 분할의 품질과 전문성 유지에 어떤 정도 향상이 이루어지는가?
• RQ4 제안된 분할 방법을 사용할 경우, 하위집합의 제출물 강도와 점수 분포 측면에서 결과 하위집합은 얼마나 균형 잡혀 있는가?
• RQ5 제안된 알고리즘은 랜덤 분할 및 이전 휴리스틱 방법과 비교해 전문성 유지 및 분할 균형 측면에서 어떤가?

주요 결과

• 알고리즘 5는 ICLR 2018 데이터셋에서 비전략상 불가능한 최적 할당 대비 11.7%의 유사도 손실을 기록한다.
• 논문을 3篇 초과 기여한 53명의 평가자를 제거한 후, 유사도 손실은 8.9%로 감소하여 전문성 매칭 향상이 확인된다.
• 높은 저자성 검토자를 제거한 경우, 하위집합당 논문 수가 크게 균형 잡혀 있어, 포함된 경우 109편의 차이 대비 단 1편의 차이만 발생한다.
• 높은 저자성 검토자를 제외한 경우, 알고리즘이 생성한 두 하위집합의 논문 점수 분포가 매우 유사하다.
• 각 결정(예: 수락/기각)을 받는 논문 비율이 하위집합 간 거의 동일하여 결과 분포의 공정성 확인됨.
• 제안된 알고리즘의 성능는 이전 연구에서 제안한 단순한 임의의 분할 휴리스틱과 유사하며, 이 경우 11.4%의 유사도 손실을 기록하여 실무에서 단순 휴리스틱에도 불구하고 뛰어난 안정성을 보임.