[논문 리뷰] Gender differences in research grant allocation -- a mixed picture

Peter van den Besselaar, Charlie Mom|arXiv (Cornell University)|2022. 05. 26.

scientometrics and bibliometrics research인용 수 5

한 줄 요약

이 연구는 대규모 연구 보조금 신청 데이터셋을 바탕으로 정량적 평가 점수와 패널 수준의 결론 도출 과정을 분석하여 연구 보조금 배정에서의 성별 편향을 조사한다. 연구는 정량적 평가 기준을 고려한 후에도 초반 평가 단계에서 여성은 남성보다 낮은 점수를 받는 지속적인 성별 편향을 드러내지만, 패널 수준에서는 결과가 혼합되어 일부 패널은 여성에게 유리하게 작용하고, 일부는 불리하게 작용하며, 일부는 성별 중립적인 결과를 보이며, 결과적으로는 과정 수준의 불균형에도 불구하고 전체적으로 균형 잡힌 보조금 배정이 이루어지는 것으로 나타났다.

ABSTRACT

Gender bias in grant allocation is a deviation from the principle that scientific merit should guide grant decisions. However, most studies on gender bias in grant allocation focus on gender differences in success rates, without including variables that measure merit. This study has two main contributions. Firstly, it includes several merit variables in the analysis. Secondly, it includes an analysis at the panel level where the selection process takes place, and this enables to study bias more in-depth at the process level. The findings are: (i) After controlling for merit, a consistent pattern of gender bias was found in the scores: women receive significant lower grades than men do. (ii) The scores are an input into the two-step decision-making process, and this study shows bias against women in the first selection decision where 75% of the applications are rejected, and bias in favor of women in the second (final) selection decision. (iii) At the level of individual panels, the analysis shows a mixed pattern of bias: in some panels the odds for women to receive a grant are lower than for men, whereas in other panels we find the opposite, next to panels with gender-neutral decision making. (iv) In the case under study, at an aggregated level the allocation of grants seems balanced. (v) The mixed pattern at panel level seems to relate characteristics such as the panel composition, and the level of gender stereotyping.

연구 동기 및 목표

• 단순 성공률 비교를 넘어서 연구 보조금 배정에서 성별 편향이 존재하는지 조사하기 위해.
• 보조금 배정 결과 분석에 다수의 정량적 기준 변수를 통합하기 위해.
• 결정이 내려지는 패널 수준에서 편향을 분석하여 과정 수준의 불균형을 이해하기 위해.
• 패널 구성과 성별 고정관념이 성별 기반 결론 도출 패턴에 미치는 영향을 탐색하기 위해.
• 평가 및 선정 편향을 모두 고려할 때 전체 보조금 배정이 균형 잡혀 보이는지 평가하기 위해.

제안 방법

• 연구는 출판 기록, 인용 수, 이전 자금 지원 이력 등 상세한 정량적 지표를 포함한 연구 보조금 신청의 종합적 데이터셋을 분석한다.
• 성별 간 보조금 점수의 차이를 평가할 때 정량적 기준 변수를 제어하기 위해 다변량 회귀 모델을 사용한다.
• 이중 단계 결정 과정 분석을 수행한다: 첫 번째로 초반 패널 심사(75% 기각률), 두 번째로 최종 선정 단계.
• 패널 수준의 분석을 통해 결정 단위 수준에서의 성별 편향을 평가하고, 우호적 또는 불리한 패턴을 식별한다.
• 패널 구성 데이터와 성별 고정관념 측정치를 사용하여 편향 결과에 영향을 미치는 맥락적 요인을 탐색한다.
• 통계 모델링을 통해 정량적 기준과 구조적 요인을 조정한 후, 여성과 남성의 보조금 성공 확률을 다양한 패널 간 비교한다.

실험 결과

연구 질문

• RQ1 정량적 과학적 정량 기준을 고려한 후에도 보조금 신청서의 초반 평가에서 성별 편향이 존재하는가?
• RQ2 성별 편향은 이중 단계 보조금 선정 과정에서 어떻게 나타나는가?
• RQ3 개별 패널 간 성별 결과에 체계적인 차이가 있는가? 만약 그렇다면, 이러한 차이를 설명할 수 있는 요인은 무엇인가?
• RQ4 패널 구성과 성별 고정관념 수준이 보조금 결론에서의 성별 편향과 얼마나 관련이 있는가?
• RQ5 평가 및 패널 수준에서의 편향 증거가 있음에도 불구하고 전체 보조금 배정이 왜 균형 잡혀 보이는가?

주요 결과

• 정량적 기준을 고려한 후에도 여성은 초기 평가 단계에서 남성보다 유의미하게 낮은 점수를 지속적으로 받는다.
• 75%의 기각률을 보이는 첫 번째 단계 결정에서 여성에 대한 편향이 드러나지만, 최종 선정 단계에서는 여성에 유리한 편향이 나타난다.
• 패널 수준에서 성별 편향의 패턴은 혼합되어 있으며, 일부 패널은 여성에게 유리하게 작용하고, 일부는 불리하게 작용하며, 일부는 성별 차이가 없는 것으로 나타났다.
• 전체적으로는 평가 및 패널 수준의 결론에서의 불균형에도 불구하고, 보조금 배정의 총합 수준에서는 균형 잡힌 결과가 나타났다.
• 혼합된 패널 수준의 결과는 패널 구성과 패널 구성원들 사이의 성별 고정관념 수준과 관련이 있었다.
• 연구는 정량적 평가가 정량적 기준을 고려하더라도 초기 단계의 평가에서 성별 편향으로 인해 손상된다는 점을 입증했다.