[논문 리뷰] A SUPER* Algorithm to Optimize Paper Bidding in Peer Review

Tanner Fiez, Nihar B. Shah외 1명|arXiv (Cornell University)|2020. 06. 27.

Expert finding and Q&A systems참고 문헌 56인용 수 14

한 줄 요약

이 논문은 컨ference 동료 평가에서 논문 제출 순서를 최적화하기 위해 A*-기반의 SUPER* 알고리즘을 제안한다. 이 알고리즘은 배정된 평가자 수와 관련성 간의 균형을 이루며, 보다 적은 수의 배정을 받은 논문을 우선순위로 배치함으로써 기존 기준 대비 부족한 배정을 받는 논문의 수를 50–75% 감소시킨다. 이 알고리즘은 커뮤니티 모델 하에서 이론적 최적성 보장을 제공하며, ICLR 2018 데이터 기반으로도 뛰어난 경험적 성능을 보인다.

ABSTRACT

A number of applications involve sequential arrival of users, and require showing each user an ordering of items. A prime example (which forms the focus of this paper) is the bidding process in conference peer review where reviewers enter the system sequentially, each reviewer needs to be shown the list of submitted papers, and the reviewer then "bids" to review some papers. The order of the papers shown has a significant impact on the bids due to primacy effects. In deciding on the ordering of papers to show, there are two competing goals: (i) obtaining sufficiently many bids for each paper, and (ii) satisfying reviewers by showing them relevant items. In this paper, we begin by developing a framework to study this problem in a principled manner. We present an algorithm called SUPER*, inspired by the A* algorithm, for this goal. Theoretically, we show a local optimality guarantee of our algorithm and prove that popular baselines are considerably suboptimal. Moreover, under a community model for the similarities, we prove that SUPER* is near-optimal whereas the popular baselines are considerably suboptimal. In experiments on real data from ICLR 2018 and synthetic data, we find that SUPER* considerably outperforms baselines deployed in existing systems, consistently reducing the number of papers with fewer than requisite bids by 50-75% or more, and is also robust to various real world complexities.

연구 동기 및 목표

• 논문 제출 순서 최적화 문제를 해결하기 위해, 우선순위 효과로 인해 상위 순위 논문에 대한 배정이 편향되는 동료 평가 배정 과정에서의 과제를 다루는 것.
• 두 가지 상충하는 목표를 균형 잡기: 각 논문이 최소한의 배정을 받도록 보장하고, 관련성에 기반해 평가자 만족도를 극대화하는 것.
• 기존 히우리스틱보다 실질적으로 뛰어난 원리에 기반한, 이론적으로 탄탄한 알고리즘 개발.
• 평가자-논문 유사도의 커뮤니티 모델 하에서 局소적 및 거의 최적의 성능을 증명하는 것.
• 실제 ICLR 2018 데이터 및 시뮬레이션 데이터셋 기반으로 알고리즘의 강건성과 확장성 입증.

제안 방법

• SUPER*는 가중치 기반 스코어를 활용해, 논문 측의 이득과 평가자 측의 이득을 균형 잡는 히우리스틱 기반 A*-유사 탐색을 통해 각 평가자별 논문 순서를 정렬한다.
• 알고리즘은 αi,j = f^S(Si,j)(γp(gi−1,j + hi,j + 1) − γp(gi−1,j + hi,j)) + λγr^S(Si,j)를 계산하여, 부족한 배정 수와 유사도를 통합한다.
• αi,j가 높은 순서로 논문을 정렬함으로써 각 평가자에게 영향력이 크고 관련성이 높은 논문을 우선 배치한다.
• 비선형 이득 함수를 지원하며, 동적 배정 수 갱신 메커니즘을 통해 우선순위 효과를 통합한다.
• 각 평가자별로 독립된 최적화가 가능하므로, 논문 측 이득 함수가 선형인 경우 알고리즘이 최적임을 증명할 수 있다.
• 각 평가자 기준 시간 복잡도가 O(d log d)이므로, 대규모 컨퍼런스에 적용 가능한 확장성 확보.

실험 결과

연구 질문

• RQ1 원리에 기반한 알고리즘이 동료 평가 배정 과정에서 논문 간 배정 분포를 개선하면서도 평가자 관련성을 유지할 수 있는가?
• RQ2 SUPER*는 기존 기준 대비 부족한 배정을 받는 논문의 수를 얼마나 줄이는가?
• RQ3 어떤 조건에서 SUPER*는 이론적으로 최적 또는 거의 최적의 성능을 보이는가?
• RQ4 노이즈가 있는 유사도 점수와 순차적인 평가자 도착과 같은 실제 복잡성에 대해 SUPER*는 얼마나 강건한가?
• RQ5 다양한 배정 기준과 유사도 분포 하에서도 알고리즘의 성능 유지가 가능한가?

주요 결과

• ICLR 2018 데이터 기반으로, SUPER*는 기존 기준 대비 부족한 배정을 받는 논문의 수를 50–75% 이상 감소시킨다.
• 평가자-논문 유사도의 커뮤니티 모델 하에서 SUPER*는 거의 최적의 성능을 보이며, 인기 있는 기존 기준들은 상당히 열등한 성능을 보인다.
• 논문 측 이득 함수가 선형인 경우 SUPER*는 국소 최적성을 확보하며, 이론적으로 최적임을 증명할 수 있다.
• 경험적 결과는 실제 및 시뮬레이션 데이터셋 모두에서 일관된 성능 향상을 보이며, 노이즈 및 다양한 설정에 대해 강건함을 입증한다.
• 알고리즘의 시간 복잡도는 각 평가자 기준 O(d log d)이며, 대규모 동료 평가 시스템에 적용 가능한 확장성 확보.
• 가중치 기반 정렬 메커니즘이 배정 커버리지와 관련성 간의 균형을 효과적으로 맞추며, 그로 인해 그레디 및 유사도 전용 히우리스틱보다 뛰어난 성능을 보인다.