[논문 리뷰] Do interests affect grant application success? The role of organizational proximity

Charlie Mom, Peter van den Besselaar|arXiv (Cornell University)|2022. 05. 26.

scientometrics and bibliometrics research인용 수 6

한 줄 요약

이 연구는 유럽의 주요 보조금 제도에서 지원자가 심사위원과 동일한 기관에 속해 있는 조직적 근접성(organizational proximity)이 자금 지원 성공에 영향을 미치는지 조사한다. 높은 영향력 있는 패널 데이터를 바탕으로 한 분석 결과, 심사위원과 근접한 지원자가 더 높은 자금 지원 확률을 가지며, 남성 지원자가 여성 지원자보다 더 큰 이점을 얻고 있으며, 이 효과는 분야와 국가에 따라 다양하게 나타나, 순수하게 능력 기반 배정이 아니라 편향 또는 선호적 유대 관계의 가능성을 시사한다.

ABSTRACT

Bias in grant allocation is a critical issue, as the expectation is that grants are given to the best researchers, and not to applicants that are socially, organizationally, or topic-wise near-by the decision-makers. In this paper, we investigate the effect of organizational proximity, defined as an applicant with the same affiliation as one of the panel members (a near-by panelist), on the probability of getting a grant. This study is based on one of the most prominent grant schemes in Europe, with overall excellent scientists as panel members. Various aspects of this organizational proximity are analyzed: Who gains from it? Does it have a gender dimension? Is it bias, or can it be explained by performance differences? We do find that the probability to get funded increases significantly for those that apply in a panel where there is a panelist from the institution where the applicant has agreed to use the grant. At the same time, the effect differs between disciplines and countries, and men profit more of it than women do. Finally, depending on how one defines what counts as the best researchers, the near-by panelist effect can be interpreted as preferential attachment (quality links to quality) or as bias and particularism.

연구 동기 및 목표

• 지원자가 심사위원과 동일한 기관에 소속되어 있을 경우 자금 지원 결과에 영향을 미치는지 평가하기.
• 이 근접성 효과가 편향 때문인지 연구자 성과의 차이 때문인지 조사하기.
• 조직적 근접성의 혜택에서 발생하는 성별 격차를 탐색하기.
• 주요 유럽 보조금 제도 내에서 분야와 국가 간 근접성 효과의 변동성을 분석하기.

제안 방법

• 유럽 주요 자금 지원 제도에서 올바른 심사위원을 보유한 대규모 보조금 지원 데이터셋을 분석한다.
• ‘조직적 근접성’을 지원자가 적어도 한 명의 심사위원과 동일한 기관 소속에 있을 경우로 정의한다.
• 지원자 품질, 분야, 국적, 성별을 제어하는 다변량 회귀 모델을 사용하여 자금 지원 확률을 추정한다.
• 성별, 분야, 국적에 따른 하위군 비교를 통해 차별적 영향을 평가한다.
• 편향과 선호적 유대를 구분하기 위해 근접성 효과를 성과 기반 지표와 비교한다.
• 통계적 추론을 사용하여 객관적인 연구 품질 지표를 고려한 후에도 근접성 효과가 지속되는지 테스트한다.

실험 결과

연구 질문

• RQ1 지원자가 심사위원과 동일한 기관에 소속되어 있을 경우 자금 지원 확률이 높아지는가?
• RQ2 남성 지원자에 비해 여성 지원자에게 조직적 근접성 효과가 더 두드러지는가?
• RQ3 근접성 효과는 연구 성과의 차이보다는 사회적 또는 기관적 근접성에 의해 더 잘 설명될 수 있는가?
• RQ4 이 보조금 제도 내에서 다양한 과학 분야와 국가 간 근접성 효과는 어떻게 달라지는가?
• RQ5 근접성 효과는 편향의 형태로 해석될 것인가, 아니면 품질 기반 선호적 유대의 형태로 해석될 것인가?

주요 결과

• 적어도 한 명의 심사위원과 동일한 기관에 소속된 지원자는 자금 지원을 받을 가능성이 유의미하게 높다.
• 조직적 근접성으로 인한 자금 지원 우대 효과는 남성 지원자에게 여성 지원자보다 더 크며, 이는 효과에 성별 격차가 있음을 시사한다.
• 근접성 효과는 분야 간에 크게 달라지며, 일부 분야에서는 다른 분야보다 더 강한 효과를 보인다.
• 객관적인 연구 성과 지표를 고려한 후에도 효과가 지속되므로, 이는 품질 차이로만 완전히 설명될 수 없다.
• 결과는 근접성 효과가 순수하게 능력 기반 배정이 아니라 기관 특수성 또는 편향을 반영할 수 있음을 시사한다.
• 어떤 맥락에서는 근접성 효과가 선호적 유대와 일치한다. 즉, 높은 품질의 연구자가 높은 품질의 심사위원과 연결될 가능성이 더 높기 때문이다. 그러나 이는 관찰된 격차를 완전히 설명하지 못한다.