[论文解读] Monitoring Diversity of AI Conferences: Lessons Learnt and Future Challenges in the DivinAI Project

Isabelle Hupont, Emília Gómez+3 more|arXiv (Cornell University)|Mar 3, 2022

Conferences and Exhibitions Management被引用 6

一句话总结

本文介绍了 DivinAI，这是一个开放平台，利用香农指数和皮洛乌多样性指数，监测主要人工智能会议在性别、地理和企业多样性方面的表现。该平台分析了 2019 至 2021 年间 AAAI、ICML、IJCAI、NeurIPS 和 RecSys 的数据，揭示了在数据收集、代表性以及长期可持续性方面面临的挑战，同时提出了改进人工智能研究社区多样性举措的可操作建议与纵向跟踪方法。

ABSTRACT

DivinAI is an open and collaborative initiative promoted by the European Commission's Joint Research Centre to measure and monitor diversity indicators related to AI conferences, with special focus on gender balance, geographical representation, and presence of academia vs companies. This paper summarizes the main achievements and lessons learnt during the first year of life of the DivinAI project, and proposes a set of recommendations for its further development and maintenance by the AI community.

研究动机与目标

• 开发一个透明、由社区驱动的平台，用于衡量和监测主要人工智能会议中的多样性。
• 评估多样性与包容性政策（如差旅资助和导师制）对性别、地理和机构隶属关系方面代表性的影响。
• 识别在数据收集、呈现和可持续性方面阻碍人工智能研究活动长期多样性跟踪的系统性挑战。
• 为提高数据完整性、机构参与度以及向利益相关方传达多样性指标，提供可操作的建议。

提出的方法

• 该平台使用香农和皮洛乌生物多样性指数，计算四种多样性指数——性别多样性指数（GDI）、企业多样性指数（BDI）、地理多样性指数（GeoDI）和会议多样性指数（CDI）。
• 数据从公开的会议论文集和网站中提取，通过作者姓名和所属机构推断性别、地理来源以及机构类型（学术界、产业界、研究中心）。
• 贡献者可在黑客松活动中手动标注数据，或使用半自动工具（如 DBLP、Web of Science、NamSor 和 Gender API）进行性别推断。
• 分别针对三种角色（主题演讲者、组织者和论文作者）计算指数，再取平均值以生成总体多样性评分。
• 平台通过交互式仪表板、直方图和世界地图可视化结果，支持跨会议比较。
• 优先开展纵向数据收集，以评估多样性举措随时间的影响。

实验结果

研究问题

• RQ1 如何利用标准化、开源的度量方法，系统性地衡量和监测人工智能会议中的多样性？
• RQ2 在人工智能会议中，收集和呈现性别、地理和机构隶属关系多样性数据的主要挑战是什么？
• RQ3 当前的多样性度量与实际政策影响的相关性如何？哪些混杂因素可能影响其解释？
• RQ4 如何激励会议组织者和更广泛的人工智能社区主动参与并持续贡献多样性数据？
• RQ5 在多样性度量方面，需要做出哪些改进，以纳入主题多样性以及更细粒度的机构类别？

主要发现

• DivinAI 平台成功收集并可视化了 2019 至 2021 年间主要人工智能会议的多样性数据，实现了对性别、地理和企业多样性的跨会议比较。
• 目前的企业多样性指数（BDI）仅将每位作者视为一个机构隶属关系，可能无法准确反映同时拥有学术界和产业界双重隶属关系的个体。
• 地理多样性显著受会议举办地影响，线上或轮换举办地点的模式会影响各地区代表性的分布。
• 缺乏激励机制促使会议组织者主动提供数据，导致数据收集工作主要依赖 DivinAI 团队。
• 平台识别出，为有意义地评估近期多样性举措的影响，需开展至少十年的纵向数据收集。
• 未来改进方向包括利用人工智能分类体系引入主题多样性，并通过 GRID 数据库扩展 BDI，纳入医疗中心、政府机构和非营利组织等机构类型。