[논문 리뷰] You Are the Best Reviewer of Your Own Papers: An Owner-Assisted Scoring Mechanism

Weijie Su|arXiv (Cornell University)|2021. 10. 27.

Game Theory and Applications인용 수 10

한 줄 요약

이 논문은 저자 자신의 논문에 대한 진정한 순위를 기반으로 검토자들이 제출한 노이즈가 있는 원본 점수를 조합함으로써 평점 정확도를 향상시키는 새로운 점수 부여 방법인 Isotonic Mechanism을 제안한다. 저자 순위에 기반한 등온성(단조성) 제약 조건을 만족하는 볼록 최적화 문제를 해결함으로써, 이 메커니즘은 점수 정확도를 크게 향상시키고 볼록 유틸리티 가정 하에 정직한 보고를 유도한다.

ABSTRACT

I consider a setting where reviewers offer very noisy scores for several items for the selection of high-quality ones (e.g., peer review of large conference proceedings), whereas the owner of these items knows the true underlying scores but prefers not to provide this information. To address this withholding of information, in this paper, I introduce the Isotonic Mechanism, a simple and efficient approach to improving imprecise raw scores by leveraging certain information that the owner is incentivized to provide. This mechanism takes the ranking of the items from best to worst provided by the owner as input, in addition to the raw scores provided by the reviewers. It reports the adjusted scores for the items by solving a convex optimization problem. Under certain conditions, I show that the owner's optimal strategy is to honestly report the true ranking of the items to her best knowledge in order to maximize the expected utility. Moreover, I prove that the adjusted scores provided by this owner-assisted mechanism are significantly more accurate than the raw scores provided by the reviewers. This paper concludes with several extensions of the Isotonic Mechanism and some refinements of the mechanism for practical consideration.

연구 동기 및 목표

• 증가하는 제출 수와 충분한 자격을 갖춘 심사위원의 부족으로 인해 발생하는 대규모 기계학습 컨퍼런스에서의 신뢰할 수 없는 평점 점수 문제를 해결하기 위해.
• 심사자에만 의존하지 않고 저자로부터의 정보를 활용하여 점수 정확도를 향상시키는 메커니즘을 설계하기 위해.
• 저자가 자신의 논문 순위를 정직하게 보고할 동기를 갖는 인centив 호환 시스템을 만들기 위해.
• 계산적으로 효율적이고 이론적으로 타당한 방법을 개발하여 원본 심사자 점수보다 진정한 논문 품질을 더 잘 추정하기 위해.
• 비볼록 유틸리티, 전략적 행동, 다중 저자 논문과 같은 실용적 과제로의 메커니즘 확장을 위해.

제안 방법

• Isotonic Mechanism은 저자로부터 제공된 자신의 논문 순위를 기반으로 원본 심사자 점수를 조정하는 볼록 최적화 프레임워크를 사용한다.
• 조정 과정은 등온성 회귀 문제로 공식화되어, 조정된 점수가 저자 순위에서 지정한 순서를 존중하도록 보장한다.
• 원본 심사자 점수에 대한 충실도와 저자 순위에서 유도된 등온성 제약 조건을 준수하는 데 균형을 이루는 손실 함수를 최소화한다.
• 최적화는 벌점 항 λ로 매개변수화되며, 이는 등온성 제약의 강도를 조절한다; λ→∞일 때 메커니즘은 점차적으로 등온 솔루션을 복원한다.
• 볼록 유틸리티 하에서 저자의 최적 전략은 논문 순위를 정직하게 보고하는 것이며, 이는 인센티브 호환성을 보장한다.
• 이 메커니즘은 심사자에게 동기를 부여하는 데 초점을 맞춘 기존 접근과는 달리, 저자로부터 제공된 순서 정보를 활용한다.

실험 결과

연구 질문

• RQ1 저자가 자신의 논문 순위를 제공하는 것이 평점 정확도를 상당히 향상시킬 수 있는가?
• RQ2 저자가 자신의 논문 순위를 정직하게 보고하는 것이 최적일 조건은 무엇인가?
• RQ3 특히 점수 변동성이 클 경우, Isotonic Mechanism은 원본 심사자 점수에 비해 추정 정확도에서 어떻게 비교되는가?
• RQ4 비볼록 유틸리티 함수나 저자의 전략적 행동을 다룰 수 있도록 메커니즘을 확장할 수 있는가?
• RQ5 여러 명의 저자가 충돌하는 동기를 가질 수 있는 다중 저자 논문에 대해 메커니즘은 어떻게 적응시킬 수 있는가?

주요 결과

• Isotonic Mechanism은 원본 심사자 점수보다 상당히 정확도가 높은 조정된 점수를 생성하며, 특히 심사자 점수의 변동성이 클 경우에 더욱 두드러진다.
• 볼록 유틸리티 하에서 저자의 유일한 최적 전략은 논문 순위를 정직하게 보고하는 것이며, 이는 인센티브 호환성을 보장한다.
• 벌점 항 λ→∞일 때 메커니즘은 점차적으로 등온 솔루션을 복원하며, n=2개 논문일 경우 정확히 이를 회복한다.
• 제출 수가 많고 심사자 점수의 변동성이 높을 경우에 점수 정확도 향상 효과가 가장 크며, 이는 현대 기계학습 컨퍼런스에서 흔한 상황이다.
• 저자가 진정한 순위를 확실하게 모를 경우에도 메커니즘은 효과적으로 유지되며, 가용한 가장 정확한 순위를 보고하는 것이 여전히 최적 전략이다.
• 실험적 검증을 권장하며, NeurIPS 2021은 저자 순위를 수집했으나 결론 도출에 사용하지 않았고, 향후 평가의 기초가 될 수 있다.