[논문 리뷰] Causal Analysis of Author Demographics in Academic Peer Review

Uttamasha Oyshi, Gibson Nkhata외 1명|arXiv (Cornell University)|2026. 02. 25.

scientometrics and bibliometrics research인용 수 0

한 줄 요약

논문은 역 propensity weighting을 사용한 인과추론으로 저자 인종, 성별, 국가가 논문 채택 랭킹에 미치는 영향을 정량화하고, 공정성 인식 모델(Fair-PaperRec)이 편향을 완화하면서 랭킹 품질을 향상시킬 수 있음을 보여준다.

ABSTRACT

Academic meritocracy is jeopardized by systematic imbalances; for example, whereas Black and Hispanic individuals constitute over 30% of the U.S. population, they represent fewer than 10% of tenured academics in science and engineering. Peer review serves as a crucial gatekeeper in this process, however it encounters ongoing issues over biases that may hinder scientific advancement. The issue is now exacerbated by the growing influence of artificial intelligence (AI) in academic assessment. This paper transcends correlation to quantitatively assess the independent impacts of author demographics, including race, gender, and country of affiliation, on paper acceptance rankings. We utilize a causal inference methodology on a dataset of 530 papers, simulating the academic selection process by employing the prestige of the publication venue as a surrogate for review rank. Our research indicates statistically substantial causal disadvantages for authors from minority racial groups (average treatment effects [ATE]: -0.42 points in ranking), female authors (ATE: -0.25), and those associated with institutions in the Global South (ATE: -0.57). The exhibited biases emphasize the pressing necessity for fairness interventions in both conventional and AI-based review processes, indicating that such measures are essential for establishing a more equitable and credible scientific environment.

연구 동기 및 목표

• 논문 품질과 제도적 명성을 통제하면서 저자 인종, 성별, 국가가 논문 채택 랭킹에 미치는 독립적인 인과 효과를 정량화한다.
• HCI 컨퍼런스의 530편 데이터셋에서 역 propensity 가중치를 사용하여 평균 처리 효과(ATE)를 추정한다.
• 편향 완화 및 랭킹 유용성에 대한 영향력을 평가하기 위한 공정성 인식 개입(Fair-PaperRec)의 효과를 평가한다.
• 평균 효과를 넘어 교차적(intersectional) 및 부분집단별 편향을 분석한다.
• 전통적 심사와 AI 보조 심사 맥락 모두에서의 공정성 개입에 대한 지침을 제공한다.

제안 방법

• 잠재적 결과 프레임워크 내에서 인과 문제를 형식화한다.
• 처리로는 저자 인구통계(Race, Gender, Country)로 정의하고 결과를 논문 채택 랭킹으로 정의한다.
• 최대 h-index 및 기관의 명성과 같은 교란변수를 사용하여 로지스틱 회귀로 성향 점수를 추정한다.
• 공변량의 균형을 맞추기 위해 역 Propensity 가중치(IPW)를 적용하고 가중치가 적용된 결과로 ATE를 추정한다.
• 인구통계적 평등을 인종과 국가 속성에 걸쳐 강제하는 공정성 손실을 가진 Fair-PaperRec를 평가하고, 유틸리티 지표로 NDCG를 사용한다.
• 공변량 균형(SMD) 및 부트스트랩 신뢰 구간을 포함한 강건성 검정을 수행한다.

실험 결과

연구 질문

• RQ1 품질과 명성을 통제했을 때 저자 인구통계가 논문 채택 랭킹에 인과적으로 영향을 미치는가?
• RQ2 다양한 하위 그룹 및 교차적 정체성(예: 인종 × 성별)에서 인과적 편향이 어떻게 나타나는가?
• RQ3 식별된 인과 편향을 공정성 인식 개입으로 완화하되 랭킹 품질을 희생하지 않고, 나아가 향상시킬 수 있는가?

주요 결과

• 소수 인종 그룹의 저자는 채택 랭킹에서 통계적으로 유의한 인과적 불리함을 경험한다(A TE ≈ -0.42 ~ -0.44).
• 여성 저자는 통계적으로 유의한 인과적 불리함에 직면한다(A TE ≈ -0.25 ~ -0.53 추정에 따라).
• 전 Global South 출신 저자는 실질적인 직접 인과 효과를 보인다(A TE ≈ -0.57); 교차분석은 소수자 남성 저자를 특히 불리하다고 강조한다.
• 공정성 규제가 증가함에 따라 ATE를 제로에 가깝게 이끌 수 있으며, 또한 NDCG가 더 높아진다(0.9667 대 0.9628).
• 공정성 중심 가중치는 공정성 구성 요소 간에 상충을 보이지만 전반적 유틸리티를 개선하고 인구통계적 랭크 격차를 크게 줄일 수 있다.