[論文レビュー] Causal Analysis of Author Demographics in Academic Peer Review

Uttamasha Oyshi, Gibson Nkhata+1 more|arXiv (Cornell University)|Feb 25, 2026

scientometrics and bibliometrics research被引用数 0

ひとこと要約

要約: 論文は逆プロペンシティ・ウェイティングを用いた因果推論により、著者の人種、性別、国が論文採択ランキングへ与える影響を定量化し、公平性を考慮したモデル（Fair-PaperRec）がバイアスを緩和しつつランキング品質を改善できることを示す。

ABSTRACT

Academic meritocracy is jeopardized by systematic imbalances; for example, whereas Black and Hispanic individuals constitute over 30% of the U.S. population, they represent fewer than 10% of tenured academics in science and engineering. Peer review serves as a crucial gatekeeper in this process, however it encounters ongoing issues over biases that may hinder scientific advancement. The issue is now exacerbated by the growing influence of artificial intelligence (AI) in academic assessment. This paper transcends correlation to quantitatively assess the independent impacts of author demographics, including race, gender, and country of affiliation, on paper acceptance rankings. We utilize a causal inference methodology on a dataset of 530 papers, simulating the academic selection process by employing the prestige of the publication venue as a surrogate for review rank. Our research indicates statistically substantial causal disadvantages for authors from minority racial groups (average treatment effects [ATE]: -0.42 points in ranking), female authors (ATE: -0.25), and those associated with institutions in the Global South (ATE: -0.57). The exhibited biases emphasize the pressing necessity for fairness interventions in both conventional and AI-based review processes, indicating that such measures are essential for establishing a more equitable and credible scientific environment.

研究の動機と目的

• 著者の人種、性別、国籍が論文採択ランキングに及ぼす独立した因果効果を、論文品質と機関の格 Prestige を統制して定量化する。
• HCI会議の530件のデータセットを用いて、ロジスティック回帰により傾向スコアを推定し、逆プロペンシティ重み付け（IPW）で平均処置効果（ATE）を推定する。
• バイアス緩和とランキング有用性への影響を評価する公平性意識介入（Fair-PaperRec）を評価する。
• 平均効果を超えた交差的およびサブグループ別のバイアスを分析する。
• 伝統的およびAI支援ピアレビューの文脈での公平性介入に関する指針を提供する。

提案手法

• 潜在アウトカムフレームワーク内で因果問題を形式化する。
• 処置を著者のデモグラフィック（人種、性別、国籍）として定義し、アウトカムを論文採択ランキングとする。
• 最大のHインデックスや機関の格 Prestige などの交絡因子を用いてロジスティック回帰により傾向スコアを推定する。
• 共変量を平衡化するために逆プロペンシティ重み付け（IPW）を適用し、重み付け後のアウトカムからATEを推定する。
• NDCGを有用性指標として用い、公平性損失が人種・国属性間のデモグラフィック・パリティを強制する形でFair-PaperRecを評価する。
• 共変量のバランス（SMD）やブートストラップ信頼区間などのロバストネス検証を実施する。

実験結果

リサーチクエスチョン

• RQ1 著者デモグラフィックは、品質と格 Prestige を統制した場合、論文採択ランキングに因果的な影響を及ぼすか。
• RQ2 因果バイアスは、異なるサブグループや交差的アイデンティティ（例：人種×性別）でどのように現れるか。
• RQ3 公平性を意識した介入は特定された因果バイアスを緩和でき、ランキング品質を損なうことなく、あるいは向上させることができるか。

主な発見

• 少数派人種グループの著者は、採択ランキングに統計的に有意な因果的不利を経験する（ATE ≈ -0.42 〜 -0.44）。
• 女性著者は統計的に有意な因果的不利を経験する（ATE ≈ -0.25 〜 -0.53 は推定法に依存）。
• グローバルサウスの著者は直接的な因果効果が大きい（ATE ≈ -0.57）。交差分析では少数派男性著者が特に不利であることが浮上。
• Fair-PaperRec は公平性正則化の強化とともにATEを0に近づけうる一方、NDCGは基礎値の0.9628から0.9667へ改善。
• 公平性重視の重み付けは公平性成分間のトレードオフを生むが、全体的な有用性を改善し人口統計的ランキング差を大幅に縮小できる。