[论文解读] Causal Analysis of Author Demographics in Academic Peer Review

Uttamasha Oyshi, Gibson Nkhata+1 more|arXiv (Cornell University)|Feb 25, 2026

scientometrics and bibliometrics research被引用 0

一句话总结

该论文使用因果推断与逆倾向权重来量化作者种族、性别与国家如何影响论文被接受排名，并显示一个公平性就绪模型（Fair-PaperRec）在提高排名质量的同时可以减轻偏差。

ABSTRACT

Academic meritocracy is jeopardized by systematic imbalances; for example, whereas Black and Hispanic individuals constitute over 30% of the U.S. population, they represent fewer than 10% of tenured academics in science and engineering. Peer review serves as a crucial gatekeeper in this process, however it encounters ongoing issues over biases that may hinder scientific advancement. The issue is now exacerbated by the growing influence of artificial intelligence (AI) in academic assessment. This paper transcends correlation to quantitatively assess the independent impacts of author demographics, including race, gender, and country of affiliation, on paper acceptance rankings. We utilize a causal inference methodology on a dataset of 530 papers, simulating the academic selection process by employing the prestige of the publication venue as a surrogate for review rank. Our research indicates statistically substantial causal disadvantages for authors from minority racial groups (average treatment effects [ATE]: -0.42 points in ranking), female authors (ATE: -0.25), and those associated with institutions in the Global South (ATE: -0.57). The exhibited biases emphasize the pressing necessity for fairness interventions in both conventional and AI-based review processes, indicating that such measures are essential for establishing a more equitable and credible scientific environment.

研究动机与目标

• 在控制论文质量与机构声望的前提下，量化作者种族、性别与国家对论文接受排名的独立因果效应。
• 使用逆倾向权重法在来自人机交互领域的530篇论文数据集中估计平均处理效应（ATE）。
• 评估一个面向公平的干预（Fair-PaperRec）用于偏见缓解及其对排名效用的影响。
• 分析跨子组的交叉性与特定群体偏差，超越平均效应。
• 在传统与AI辅助同行评审场景中提供公平干预的指导。

提出的方法

• 在潜在结果框架内形式化因果问题。
• 将处理定义为作者人口统计特征（种族、性别、国家），结果定义为论文接受排名。
• 利用对冲变量（如最大h指数、机构声望）通过逻辑回归估计倾向得分。
• 应用逆倾向权重（IPW）平衡协变量并从加权结果中估计ATEs。
• 在公平性损失中评估Fair-PaperRec，强制实现种族与国家属性的人口统计平等性，使用NDCG作为效用指标。
• 进行稳健性检验，包括协变量平衡（标准化均方差SMD）和自助法置信区间。

实验结果

研究问题

• RQ1 在控制质量与声望后，作者人口统计是否会因果性地影响论文接受排名？
• RQ2 因果偏差如何在不同子群体与交叉身份（如种族×性别）中体现？
• RQ3 在不牺牲甚至可能提升排名质量的前提下，公平性干预能否缓解已识别的因果偏差？

主要发现

• 来自少数族裔群体的作者在接受排名上经历统计显著的因果劣势（ATE 约为 -0.42 到 -0.44）。
• 女性作者面临统计显著的因果劣势（ATE 约为 -0.25 到 -0.53，取决于估计方法）。
• 全球南方作者表现出显著的直接因果效应（ATE 约为 -0.57）；交叉性分析显示少数族裔男性作者尤为处于不利地位。
• Fair-PaperRec 随着公平性正则化的提高使ATE趋向于零，同时在NDCG方面也实现更高的分数（0.9667 对比基线0.9628）。
• 以公平为导向的加权在公平性组成部分之间存在权衡，但可以提升整体效用并显著缩小人口统计学排名差距。