[論文レビュー] Measuring Diversity of Artificial Intelligence Conferences

Ana Freire, Lorenzo Porcaro+1 more|arXiv (Cornell University)|Jan 20, 2020

Ethics and Social Impacts of AISocial Sciences参考文献 12被引用数 20

ひとこと要約

本論文は、主なAI国際会議における多様性を測定・監視するための多様性指標群—性別、地理的、企業分野の多様性—を提案する。著者、基調講演者、組織委員会のデータを用いて、会議多様性指数（CDI）を算出し、アフリカ系研究者の著しい不足と性別による不均衡を明らかにするとともに、基調講演者の多様性に改善が見られ、NeurIPS 2020が最高のCDI（0.89）を記録した。

ABSTRACT

The lack of diversity of the Artificial Intelligence (AI) field is nowadays a concern, and several initiatives such as funding schemes and mentoring programs have been designed to overcome it. However, there is no indication on how these initiatives actually impact AI diversity in the short and long term. This work studies the concept of diversity in this particular context and proposes a small set of diversity indicators (i.e. indexes) of AI scientific events. These indicators are designed to quantify the diversity of the AI field and monitor its evolution. We consider diversity in terms of gender, geographical location and business (understood as the presence of academia versus industry). We compute these indicators for the different communities of a conference: authors, keynote speakers and organizing committee. From these components we compute a summarized diversity indicator for each AI event. We evaluate the proposed indexes for a set of recent major AI conferences and we discuss their values and limitations.

研究の動機と目的

• AI科学コミュニティにおける多様性を測定・監視するための標準化された指標の欠如に対処すること。
• 性別、地理的ルーツ、および企業分野（学術界対産業界）の3つの次元にわたり、主要AI会議における多様性を定量化すること。
• 著者、講演者、組織委員会の複数の要素を統合する会議多様性指数（CDI）を構築すること。
• 提案された指標をトップAI会議の実世界データに適用し、政策立案や組織的対応に有効であるかを評価すること。
• 多様性の長期的トレンドを追跡し、代表性を向上させるための的確な対策を支援すること。

提案手法

• 性別多様性指数（GDI）、地理的多様性指数（GeoDI）、企業多様性指数（BDI）という3つの核心的多様性指標を定義し、それぞれがカテゴリー分布に基づくものとする。
• シャノンエントロピーの公式を用いて各指標を計算し、会議間での比較可能性を確保するため正規化を行う。
• 2018年から2020年の間、12の主要AI会議（例：NeurIPS、ICML、RecSys）の著者、基調講演者、組織委員会のデータを収集する。
• 著者、講演者、組織委員会ごとの個別指標を重み付き平均を用いて統合し、単一の会議多様性指数（CDI）を算出する。
• 名前ベースの分類（男性、女性、非バイナリー）に基づく性別プロキシを適用するが、誤りの可能性を認識する。
• 国名の所属を地理的ルーツのプロキシとして用い、地域（例：北米、ヨーロッパ、アジア、アフリカ、ラテンアメリカ、オセアニア）にグループ化する。

実験結果

リサーチクエスチョン

• RQ1 AI会議における性別、地理的背景、企業分野の多様性を、どのように体系的に測定できるか？
• RQ2 主なAI会議において、特にアフリカ系や女性のグループが著しく代表されていない状況はどの程度顕著か？
• RQ3 複合多様性指数が、異なる会議間での多様性を効果的に要約・比較できるか？
• RQ4 近年の基調講演者の多様性は、性別バランスの観点からどのように変化したか？
• RQ5 現在のプロキシ（例：名前ベースの性別、所属ベースの地理的属性）が多様性を測定するうえで、どのような限界を有するか？

主な発見

• NeurIPS 2020が最高の会議多様性指数（CDI）0.89を記録し、すべての次元で高い多様性を示した。
• ICML 2018（CDI 0.44）とRecSys 2019（CDI 0.49）が最低のCDIを記録し、主に基調講演者が学術界に限定されていた企業多様性の低さが要因であった。
• すべての会議の著者および組織委員会にわたり、アフリカからの研究者はわずか5名にとどまり、深刻な代表不全が顕在化した。
• 基調講演者の多様性は著しく向上し、いくつかの会議で性別バランスに近い状態が達成されており、可視性向上への取り組みの成果が示された。
• 地理的多様性は依然として低く、大多数の会議が北米およびヨーロッパの研究者に支配されており、平均して3〜4地域程度が参加していた。
• 会議多様性指数（CDI）は、多様性トレンドの追跡と改善の余地を特定するための簡潔で比較可能な指標を提供する。