[논문 리뷰] An Isotonic Mechanism for Overlapping Ownership

Jibang Wu, Haifeng Xu외 2명|arXiv (Cornell University)|2023. 06. 19.

Auction Theory and ApplicationsDecision Sciences참고 문헌 31인용 수 3

한 줄 요약

이 논문은 과학적 컨퍼런스에서 다중 저자 논문과 같은 겹치는 소유권 설정에서 저자들이 정직한 자기 평가를 이끌어내기 위한 등온성 메커니즘을 제안한다. 논문을 저자-코hort 블록으로 분할하고, 원시 리뷰 점수와 순위를 일치시키기 위해 등온성 회귀를 적용함으로써, 메커니즘은 진실성의 나시 균형을 보장하고, 근사 알고리즘을 통해 일정 요인의 근사치를 달성한다. 이는 대규모 피어 리뷰 시스템에서 리뷰 품질을 크게 향상시킨다.

ABSTRACT

Motivated by the problem of improving peer review at large scientific conferences, this paper studies how to elicit self-evaluations to improve review scores in a natural many-to-many owner-item (e.g., author-paper) situation with overlapping ownership. We design a simple, efficient and truthful mechanism to elicit self-evaluations from item owners that can be used to calibrate their noisy review scores in the existing evaluation process (e.g., papers' review scores from peers). Our approach starts by partitioning the owner-item relation structure into disjoint blocks, each sharing a common set of co-owners. We then elicit the ranking of items from each owner and employ isotonic regression to produce adjusted item scores, aligning with both the reported rankings and raw item review scores. We prove that truth-telling by all owners is a payoff dominant Nash equilibrium for any valid partition of the overlapping ownership sets under natural conditions. Moreover, the truthfulness depends on eliciting rankings independently within each block, making block partition optimization crucial for improving statistical efficiency. Despite being computationally intractable in general, we develop a nearly linear-time greedy algorithm that provably finds a performant block partition with appealing robust approximation guarantees. Extensive experiments on both synthetic data and real-world conference review data demonstrate the effectiveness of our mechanism in a pressing real-world problem.

연구 동기 및 목표

• 리뷰어 부족과 점수 평가의 일관성 부족으로 인해 대규모 머신러닝 컨퍼런스에서 피어 리뷰 품질이 저하되는 문제를 해결하기 위해.
• 겹치는 소유권을 가진 논문의 저자들로부터 신뢰할 수 있는 자기 평가를 이끌어내는 정직한 메커니즘을 설계하기 위해.
• 논문이 다수의 저자를 공유하더라도, 진실한 진술이 제안된 메커니즘 하에서 나시 균형이 되도록 보장하기 위해.
• 추정 효율성을 극대화하는 데 최적의 블록 분할을 위한 효율적인, 거의 선형 시간 알고리즘을 개발하기 위해.
• 제안된 메커니즘의 성능을 합성 및 실제 컨퍼런스 리뷰 데이터를 바탕으로 평가하기 위해.

제안 방법

• 공동 저자 관계를 기반으로 모든 컨퍼런스 제출물을 상호 배타적인 블록으로 분할하여 소유권 집합을 형성한다.
• 각 저자에게 블록 내 자신의 논문 순위를 제출하게 하여 주관적인 품질 평가를 반영한다.
• 원시 리뷰 점수를 조정하기 위해 등온성 회귀를 적용하여, 보고된 순위와 일치시키되, 최소 제곱 기준에서의 편차를 최소화한다.
• 블록이 겹치는 소유권 집합의 유효한 분할을 통해 형성된 경우, 진실한 진술이 메커니즘 하에서 나시 균형이 되는 것을 증명한다.
• 추정 효율성을 극대화하는 데 최적의 블록 분할을 근사하기 위한 근사 알고리즘을 설계한다.
• 그리디 알고리즘의 이론적 근사 보장을 수립하여, 다항식 목표 함수 하에서 일정 요인의 근사 비율을 확보함을 보여준다.

Figure 1: An example of an author-paper ownership set shown as a bipartite graph. An edge between an individual and a paper indicates that this individual is the author of the paper.

실험 결과

연구 질문

• RQ1 겹치는 소유권 설정, 예를 들어 다중 저자 논문의 컨퍼런스 논문에서 저자들로부터 정직한 자기 평가를 이끌어내는 메커니즘을 설계할 수 있는가?
• RQ2 이러한 메커니즘에서 진실한 진술이 나시 균형이 되는 조건은 무엇인가?
• RQ3 진실성 확보를 위해 저자들을 상호 배타적인 블록으로 분할하고, 순위 정보만을 수집하는 것이 반드시 필요한가?
• RQ4 성능 보장이 있는 증명 가능한 방법으로 최적의 블록 분할을 효율적으로 근사할 수 있는가?
• RQ5 기존 피어 리뷰 대비 제안된 메커니즘이 리뷰 점수 추정 정확도를 어떻게 향상시키는가?

주요 결과

• 논문이 공동 저자 기반으로 상호 배타적인 소유권 블록으로 분할된 경우, 등온성 메커니즘 하에서 모든 저자의 진실한 진술은 나시 균형이 된다.
• 메커니즘이 증명된 바로가진 정직성은 각 블록 내에서 순위 정보를 독립적으로 수집할 경우에만 성립하므로, 블록 분할이 유일한 최적화 과제가 된다.
• 제안된 그리디 알고리즘은 최적의 분할에 대해 일정 요인의 근사치를 달성하며, 저자 수가 증가함에 따라 극한에서 최대 $1/α$의 근사 비율을 보인다.
• 알고리즘은 거의 선형 시간에 실행되어, 수만 건의 제출을 포함한 대규모 컨퍼런스에 대해 확장 가능하다.
• 합성 및 실제 컨퍼런스 데이터를 대상으로 한 실험 결과, 소유자 보조 캘리브레이션 메커니즘이 실제 리뷰 점수의 추정 정확도를 크게 향상시킴을 보였다.
• 특히 제출량이 많고 리뷰어가 부족한 환경에서, 저자들로부터의 정직한 자기 평가를 활용함으로써 메커니즘이 베이스라인 방법을 능가한다.

Figure 2: The first two plots base on the ICLR 2022 dataset illustrate the probability of an paper getting accepted as an “oral”, “spotlight” “poster” w.r.t. its average review score. The dashed line denotes the estimated probability from raw data, the smooth line denotes the probability predicted b