[论文解读] An Open-Source Cultural Consensus Approach to Name-Based Gender Classification

Ian Van Buskirk, Aaron Clauset+1 more|arXiv (Cornell University)|Aug 2, 2022

Gender Studies in Language被引用 7

一句话总结

本文提出一种基于文化共识理论的开源、集成式基于姓名的性别分类方法，整合了覆盖150多个国家、跨越100多年的36个全球姓名-性别数据集。该方法性能与付费服务相当，表明进一步通过元数据或数据收集提升性能的可能性极低，并提出了一个基于姓名性别关联强度的分类体系。

ABSTRACT

Name-based gender classification has enabled hundreds of otherwise infeasible scientific studies of gender. Yet, the lack of standardization, proliferation of ad hoc methods, reliance on paid services, understudied limitations, and conceptual debates cast a shadow over many applications. To address these problems we develop and evaluate an ensemble-based open-source method built on publicly available data of empirical name-gender associations. Our method integrates 36 distinct sources-spanning over 150 countries and more than a century-via a meta-learning algorithm inspired by Cultural Consensus Theory (CCT). We also construct a taxonomy with which names themselves can be classified. We find that our method's performance is competitive with paid services and that our method, and others, approach the upper limits of performance; we show that conditioning estimates on additional metadata (e.g. cultural context), further combining methods, or collecting additional name-gender association data is unlikely to meaningfully improve performance. This work definitively shows that name-based gender classification can be a reliable part of scientific research and provides a pair of tools, a classification method and a taxonomy of names, that realize this potential.

研究动机与目标

• 解决现有付费姓名性别分类服务在透明度、可复现性和成本方面的不足。
• 开发一种开源、开放数据的方法，使其性能达到或超过专有工具的水平。
• 系统评估基于姓名的性别分类在多样化文化与语言背景下的局限性与错误分布。
• 建立一种标准化的分类体系，按性别关联强度对姓名进行分类。
• 评估额外数据、元数据或方法组合是否能显著提升当前性能极限之外的分类表现。

提出的方法

• 该方法采用受文化共识理论（CCT）启发的元学习算法，整合来自不同国家和时间周期的36个独立姓名-性别关联数据集。
• 将姓名-性别关联建模为共识问题，其中各数据集代表具有不同可靠性与文化背景的“信息提供者”。
• 通过基于CCT推导的概率框架，根据各数据源的一致性与可靠性对数据源加权，估计每个姓名的全局共识性别标签。
• 该方法包含不确定性估计，并通过统计聚合处理不同来源之间的不一致或冲突关联。
• 提出一种新分类体系，按性别关联强度对姓名进行分类：高覆盖、弱性别关联、条件性性别关联或无数据。
• 通过多个验证集（包括Vogel数据集和Santamaría数据集）评估性能，使用准确率、公平性及组成估计等指标。

实验结果

研究问题

• RQ1 基于公开数据的开源、集成式方法是否能在姓名性别分类中达到与专有付费服务相当的性能？
• RQ2 分类错误在性别、国籍和文化背景之间如何分布，特别是对于拉丁化中文姓名？
• RQ3 额外元数据、方法组合或新数据收集在多大程度上能进一步提升性能，超越当前极限？
• RQ4 姓名-性别关联的模糊性对研究样本中整体性别构成估计有何影响？
• RQ5 基于性别关联强度的标准化姓名分类体系，如何提升科学研究所用性别分类的透明度与可靠性？

主要发现

• 所提方法实现的分类准确率与付费服务相当，在Vogel验证集中男性估计比例为73.2%，接近目标值72.7%。
• 性能已达到平台期：进一步通过增加数据、元数据或方法组合提升性能，不太可能带来显著增益。
• 拉丁化中文姓名的误分类率更高（男性4.0%，女性5.2%），表明罗马化过程存在显著偏差，影响全球公平性。
• 该方法在多样化文化背景下表现稳健，但错误分布不均，尤其在性别关联模糊或微弱的姓名上更为明显。
• 基于性别关联强度的分类体系显示，Santamaría数据集中47%的中文姓名属于弱关联或无数据类别，凸显了重大数据缺口。
• 即使仅使用高覆盖姓名，该方法仍估计出74.5%的男性构成，表明子集选择可提升公平性，但会带来数据损失及样本构成潜在偏差。