[논문 리뷰] Incentives, Quality, and Risks: A Look Into the NSF Proposal Review Pilot

Parinaz Naghizadeh, Mingyan Liu|arXiv (Cornell University)|2013. 07. 24.

scientometrics and bibliometrics research참고 문헌 4인용 수 11

한 줄 요약

이 논문은 제안자들이 서로의 제안을 평가하고 자금 지원 가능성과 제안 품질 및 평가 품질을 연계한 NSF의 시범적 동료 평가 시스템을 평가한다. 이 시스템은 정직한 평가를 유도하지만, Borda 순위 매기기 메커니즘과 부족한 배제 조치로 인해 논란이 되지 않는 평균 수준의 제안을 선호할 위험이 있다.

ABSTRACT

The National Science Foundation (NSF) will be experimenting with a new distributed approach to reviewing proposals, whereby a group of principal investigators (PIs) or proposers in a subfield act as reviewers for the proposals submitted by the same set of PIs. To encourage honesty, PIs' chances for getting funded are tied to the quality of their reviews (with respect to the reviews provided by the entire group), in addition to the quality of their proposals. Intuitively, this approach can more fairly distribute the review workload, discourage frivolous proposal submission, and encourage high quality reviews. On the other hand, this method has already raised concerns about the integrity of the process and the possibility of strategic manipulation. In this paper, we take a closer look at three specific issues in an attempt to gain a better understanding of the strengths and limitations of the new process beyond first impressions and anecdotal evidence. We start by considering the benefits and drawbacks of bundling the quality of PIs' reviews with the scientific merit of their proposals. We then consider the issue of collusion and favoritism. Finally, we examine whether the new process puts controversial proposals at a disadvantage. We conclude that some benefits of using review quality as an incentive mechanism may outweigh its drawbacks. On the other hand, even a coalition of two PIs can cause significant harm to the process, as the built-in incentives are not strong enough to deter collusion. While we also confirm the common suspicion that the process is skewed toward non-controversial proposals, the more unexpected finding is that among equally controversial proposals, those of lower quality get a leg up through this process. Thus the process not only favors non-controversial proposals, but in some sense, mediocrity. We also discuss possible ways to improve this review process.

연구 동기 및 목표

• 제안 품질과 평가 품질을 모두 고려해 자금 지원을 결정하는 NSF의 시범적 분산 동료 평가 시스템을 평가하기 위해.
• 평가 품질을 제안 평가에 통합함으로써 공정성과 품질을 향상시키고 전략적 오용을 최소화하는지 조사하기 위해.
• 이 시스템이 뇌물 공모, 특혜, 논란이 되는 제안이나 고위험 제안에 대한 편향에 얼마나 취약한지 평가하기 위해.
• 검토의 정당성과 공정성에 해를 끼칠 수 있는 인센티브 메커니즘의 설계 결함을 특정하기 위해.
• 개선 방안으로는 충돌 방지 목록 강화, 논란이 되는 제안에 대해 전문가 위원회 도입, 점수 매기기 규칙 수정 등 제안하기 위해.

제안 방법

• 게임 이론 프레임워크를 사용해 NSF 평가 시범 프로그램의 인센티브 구조를 모델링하고, 진실성 있는 평가가 안정된 균형이 되는지 분석한다.
• Borda 순위 기반 순위 매기기를 사용해 동료 평가를 집계하고, 그룹 평가와의 일치도에 따라 심사위원에게 보너스 점수를 산정한다.
• 뇌물 공모 시나리오와 논란이 되는 제안 집합을 포함한 다양한 조건에서 평가 결과를 시뮬레이션한다.
• 심사위원 배정 패턴이 보너스 점수 배분과 제안 순위에 미치는 영향을 분석한다.
• 사전에 충돌 방지 목록을 할당하고 상호 평가를 제한하며, 고위험 제안에 대해 전문가 위원회를 도입하는 등의 수정 사항을 제안한다.
• 향후 작업 부담이나 제출 권한에 대한 기준으로 평가 품질을 사용하는 등의 대안적 인센티브 메커니즘을 평가한다.

실험 결과

연구 질문

• RQ1 제안 품질에 평가 품질을 연계함으로써 정직하고 고급 수준의 평가를 유도할 충분한 동기가 생기는가?
• RQ2 두 명 이상의 PI 간의 뇌물 공모가 평가 과정의 정당성에 얼마나 심각하게 영향을 미칠 수 있는가?
• RQ3 Borda 순위 매기기 메커니즘이 논란이 되지 않는 제안과 비교해 논란이 되는 제안의 순위에 어떤 영향을 미치는가?
• RQ4 왜 저품질의 논란이 되는 제안이 이 시스템에서 상대적 우위를 점하는가?
• RQ5 혁신적이거나 고위험 제안에 대한 편향을 줄이기 위해 어떤 설계 변경이 공정성을 해치지 않으면서 가능할 수 있는가?

주요 결과

• 평가 품질 기반의 인센티브 메커니즘은 정직한 평가를 장려하지만, 뇌물 공모를 완전히 방지하지 못할 정도로 취약하다. 심지어 두 명의 PI로 이루어진 연합이라도 결과를 심각하게 왜곡할 수 있다.
• 이 시스템은 논란이 되는 제안을 체계적으로 불리하게 다루며, 심사위원 간의 의견 불일치로 인해 이러한 제안의 심사위원들이 낮은 보너스 점수를 받는다.
• 동일한 수준의 논란이 되는 제안들 사이에서는, 저품질의 제안이 더 높은 일관성 있는 높은 평가를 받는 소수의 일치된 심사위원 그룹에 의해 유리하게 작용한다.
• 이 시스템은 논란을 피하는 제안을 선호함으로써, 중간 수준의 과학적 품질을 지닌 제안들조차도 평균 수준의 제안을 선호하는 경향을 암묵적으로 조장한다.
• 논란이 되는 제안의 심사위원들은 자신의 자금 지원 가능성 뿐 아니라, 공통된 의견이 없기 때문에 보너스 점수의 품질 면에서도 불리하게 대우받는다.
• 전문가 위원회 도입, 사전에 정리된 충돌 방지 목록, 익명화된 코멘트 공유가 가능한 연장된 심사 단계 등을 통해 공정성을 회복하고 오용을 탐지하는 데 도움이 되는 솔루션을 제안할 수 있다.