[論文レビュー] Monitoring Diversity of AI Conferences: Lessons Learnt and Future Challenges in the DivinAI Project

Isabelle Hupont, Emília Gómez+3 more|arXiv (Cornell University)|Mar 3, 2022

Conferences and Exhibitions Management被引用数 6

ひとこと要約

本論文では、シャノンおよびピエルー多様度指数を用いて、主なAI国際会議における性別、地理的要因、および企業の多様性を監視するオープンプラットフォーム「DivinAI」を提示する。2019年から2021年までのAAAI、ICML、IJCAI、NeurIPS、RecSysのデータを分析した結果、データ収集、表現、長期的持続可能性に関する課題が明らかになったが、AI研究コミュニティにおける包摂性向上と多様性イニシアチブの縦断的追跡のための改善策を提案している。

ABSTRACT

DivinAI is an open and collaborative initiative promoted by the European Commission's Joint Research Centre to measure and monitor diversity indicators related to AI conferences, with special focus on gender balance, geographical representation, and presence of academia vs companies. This paper summarizes the main achievements and lessons learnt during the first year of life of the DivinAI project, and proposes a set of recommendations for its further development and maintenance by the AI community.

研究の動機と目的

• 主要なAI会議における多様性を測定・監視する透明性があり、コミュニティ主導のプラットフォームを構築すること。
• 移動補助金やメンターシップなどの多様性・包摂政策の影響が、性別、地理的要因、機関所属の観点からどのように表現に影響を与えるかを評価すること。
• AI研究イベントにおける多様性の縦断的追跡を妨げる、データ収集、表現、持続可能性に関するシステム的課題を特定すること。
• データの完全性、機関の参加、ステークホルダーへの多様性指標の共有を改善するための実行可能な提言を提供すること。

提案手法

• プラットフォームは、シャノンおよびピエルー生物多様度指数を用いて、4つの多様度インデックス（性別多様度指数（GDI）、企業多様度指数（BDI）、地理的多様度指数（GeoDI）、会議多様度指数（CDI））を計算する。
• データは、公開された会議プロCEEDINGSおよび公式ウェブサイトから抽出され、著者の名前と所属から性別、地理的出処、機関所属（大学、産業界、研究機関）を推定する。
• 参加者はハッカソンの際や、DBLP、Web of Science、NamSor、Gender APIなどの準自動化ツールを用いて、手動でデータをアノテーションする。
• インデックスは、基調講演者、組織委員、論文著者という3つの役割ごとに別々に計算され、その後平均化されて総合的な多様度スコアが得られる。
• プラットフォームは、インタラクティブダッシュボード、ヒストограм、世界地図を用いて結果を可視化し、会議間比較を可能にする。
• 縦断的データ収集を優先し、多様性イニシアチブの時間的影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 標準化されたオープンソース指標を用いて、AI会議における多様性を体系的に測定・監視する方法は何か？
• RQ2 AI会議における性別、地理的要因、機関所属の観点から、多様性データの収集と表現において主な課題は何か？
• RQ3 現在の多様性指標は、実際に政策の影響とどの程度相関しているのか。また、その解釈に影響を及ける要因は何か？
• RQ4 会議組織者や広範なAIコミュニティが、多様性データ収集に参加し、継続的に支援するインcentiveは何か？
• RQ5 トピックの多様性や、より細分化された機関分類を含めるために、多様性測定にどのような改善が必要か？

主な発見

• DivinAIプラットフォームは、2019年から2021年までの主要なAI会議における多様性データを効果的に収集・可視化し、性別、地理的、企業の多様性について、会議間比較を可能にした。
• 企業多様度指数（BDI）は現在、著者1人につき1つの機関所属のみを扱っているため、学術機関と産業界の両方の所属を持つ個人の実態を正しく反映していない可能性がある。
• 地理的多様性は会議の開催場所に強く影響を受けており、ハイブリッドまたは回転開催の会議では地域間の代表性に差が生じる。
• 会議組織者に対して、積極的にデータを提供するインcentiveが不足しているため、データ収集に主にDivinAIチームに依存している。
• プラットフォームは、最近の多様性イニシアチブの影響を意味的に評価するためには、少なくとも10年間の縦断的データ収集が必要であると特定した。
• 今後の改善策として、AI分類法を用いたトピック多様性の統合、およびGRIDデータベースを活用して医療機関、政府機関、NPOなど、新たな機関タイプをBDIに追加することが挙げられる。