[论文解读] Measuring Diversity of Artificial Intelligence Conferences

Ana Freire, Lorenzo Porcaro+1 more|arXiv (Cornell University)|Jan 20, 2020

Ethics and Social Impacts of AI参考文献 12被引用 20

一句话总结

本文提出了一套多样性指标——性别、地理和商业多样性，用于衡量和监控主要人工智能会议中的多样性。基于作者、主旨演讲者和组织者的数据，计算出会议多样性指数（CDI），揭示了非洲研究人员代表性严重不足以及性别失衡的问题，同时显示主旨演讲者多样性方面有所进展，其中NeurIPS 2020的CDI达到最高分（0.89）。

ABSTRACT

The lack of diversity of the Artificial Intelligence (AI) field is nowadays a concern, and several initiatives such as funding schemes and mentoring programs have been designed to overcome it. However, there is no indication on how these initiatives actually impact AI diversity in the short and long term. This work studies the concept of diversity in this particular context and proposes a small set of diversity indicators (i.e. indexes) of AI scientific events. These indicators are designed to quantify the diversity of the AI field and monitor its evolution. We consider diversity in terms of gender, geographical location and business (understood as the presence of academia versus industry). We compute these indicators for the different communities of a conference: authors, keynote speakers and organizing committee. From these components we compute a summarized diversity indicator for each AI event. We evaluate the proposed indexes for a set of recent major AI conferences and we discuss their values and limitations.

研究动机与目标

• 解决人工智能科学界缺乏标准化指标来衡量和监控多样性的现状。
• 量化主要人工智能会议在性别、地理来源和商业领域（学术界与产业界）三个维度上的多样性。
• 开发一个综合会议多样性指数（CDI），以汇总多个组成部分（作者、演讲者、组织者）的多样性。
• 在顶级人工智能会议的真实数据上评估所提出的指标，并评估其在政策和组织行动中的实用性。
• 实现对多样性趋势的长期追踪，并支持有针对性的干预措施以改善代表性。

提出的方法

• 定义三个核心多样性指标：性别多样性指数（GDI）、地理多样性指数（GeoDI）和商业多样性指数（BDI），每个指标均基于类别分布。
• 使用香农熵公式计算每个指数，并通过归一化确保不同会议之间的可比性。
• 收集2018至2020年间12个主要人工智能会议（如NeurIPS、ICML、RecSys）的作者、主旨演讲者和组织委员会的数据。
• 通过加权平均法将各个组成部分的指数（作者、演讲者、组织者）聚合为单一的会议多样性指数（CDI）。
• 基于姓名分类使用性别代理指标（男性、女性、非二元性别），并承认潜在的错误。
• 使用所属国家作为地理来源的代理指标，按地区分组（如北美、欧洲、亚洲、非洲、拉丁美洲、大洋洲）。

实验结果

研究问题

• RQ1 如何系统性地衡量人工智能会议在性别、地理和商业领域方面的多样性？
• RQ2 主要人工智能会议在特定群体（尤其是非洲群体和女性）中存在多大程度的代表性不足？
• RQ3 综合多样性指数能否有效总结并比较不同会议的多样性？
• RQ4 近年来主旨演讲者的多样性如何演变，特别是在性别平衡方面？
• RQ5 当前代理指标（如基于姓名的性别、基于隶属关系的地理）在衡量多样性方面存在哪些局限性？

主要发现

• NeurIPS 2020的会议多样性指数（CDI）达到最高分0.89，表明在所有维度上均表现出较强的多样性。
• ICML 2018（CDI 0.44）和RecSys 2019（CDI 0.49）的CDI最低，主要由于商业多样性较低，所有主旨演讲者均来自学术界。
• 在所有会议的作者和组织者中，仅发现5位来自非洲的研究人员，凸显了严重的代表性不足。
• 主旨演讲者多样性显著改善，多个会议实现了接近性别平衡，表明可见性提升工作取得进展。
• 地理多样性仍然较低，大多数会议主要由来自北美和欧洲的研究人员主导，平均仅涵盖3至4个地区。
• 会议多样性指数（CDI）提供了一个简洁且可比较的指标，能够追踪多样性趋势并识别改进领域。