[논문 리뷰] Measuring Diversity of Artificial Intelligence Conferences

Ana Freire, Lorenzo Porcaro외 1명|arXiv (Cornell University)|2020. 01. 20.

Ethics and Social Impacts of AISocial Sciences참고 문헌 12인용 수 20

한 줄 요약

이 논문은 주요 인공지능 컨퍼런스에서 다양성을 측정하고 모니터링하기 위해 성별, 지리적, 기업 분야 다양성 지표를 제안한다. 저자, 기조 연설자, 조직위원회의 데이터를 바탕으로, 아프리카 연구자의 현저한 부족과 성별 불균형을 드러내는 컨퍼런스 다양성 지수(CDI)를 계산한다. 한편 기조 연설자 다양성 측면에선 진전이 있었으며, 2020년 네우립스(2020 NeurIPS)가 최고의 CDI(0.89)를 기록했다.

ABSTRACT

The lack of diversity of the Artificial Intelligence (AI) field is nowadays a concern, and several initiatives such as funding schemes and mentoring programs have been designed to overcome it. However, there is no indication on how these initiatives actually impact AI diversity in the short and long term. This work studies the concept of diversity in this particular context and proposes a small set of diversity indicators (i.e. indexes) of AI scientific events. These indicators are designed to quantify the diversity of the AI field and monitor its evolution. We consider diversity in terms of gender, geographical location and business (understood as the presence of academia versus industry). We compute these indicators for the different communities of a conference: authors, keynote speakers and organizing committee. From these components we compute a summarized diversity indicator for each AI event. We evaluate the proposed indexes for a set of recent major AI conferences and we discuss their values and limitations.

연구 동기 및 목표

• 인공지능 과학 공동체에서 다양성을 측정하고 모니터링하기 위한 표준화된 지표 부족 문제를 해결하기 위해.
• 성별, 지리적 기원, 기업 부문(학계 대비 산업계)의 세 가지 차원에서 주요 인공지능 컨퍼런스의 다양성을 정량화하기 위해.
• 저자, 연사, 조직위원회 등 여러 구성 요소의 다양성을 요약하는 복합 컨퍼런스 다양성 지수(CDI)를 개발하기 위해.
• 실제 인공지능 컨퍼런스 데이터를 바탕으로 제안된 지표를 평가하고 정책 및 조직적 조치에 대한 유용성을 평가하기 위해.
• 다양성 추세를 장기적으로 추적하고 표현의 향상을 위한 대상별 개선 조치를 지원하기 위해.

제안 방법

• 성별 다양성 지수(GDI), 지리적 다양성 지수(GeoDI), 기업 다양성 지수(BDI)의 세 가지 핵심 다양성 지표를 정의하며, 각각 카테고리 분포 기반으로 한다.
• 샤논 엔트로피 공식을 사용해 각 지수를 계산하고, 컨퍼런스 간 비교 가능성을 확보하기 위해 정규화를 실시한다.
• 2018년부터 2020년까지 12개 주요 인공지능 컨퍼런스(예: NeurIPS, ICML, RecSys)의 저자, 기조 연사, 조직위원회의 데이터를 수집한다.
• 저자, 연사, 조직위원회의 개별 구성 요소 지수를 가중 평균을 사용해 하나의 컨퍼런스 다양성 지수(CDI)로 통합한다.
• 이름 기반 분류(남성, 여성, 비이원성)를 바탕으로 성별 대체 지표를 적용하며, 잠재적 오류를 인정한다.
• 국가 소속을 지리적 기원의 대체 지표로 사용하며, 지역(예: 북미, 유럽, 아시아, 아프리카, 라틴 아메리카, 오세아니아)으로 묶는다.

실험 결과

연구 질문

• RQ1 성별, 지리, 기업 부문 측면에서 인공지능 컨퍼런스의 다양성을 어떻게 체계적으로 측정할 수 있는가?
• RQ2 주요 인공지능 컨퍼런스에서 특정 집단, 특히 아프리카와 여성의 부족함이 어느 정도로 나타나는가?
• RQ3 복합 다양성 지수가 다양한 컨퍼런스 간 다양성을 효과적으로 요약하고 비교하는 데 유용한가?
• RQ4 최근 몇 년간 기조 연사 다양성은 어떻게 변화했는가, 특히 성별 균형 측면에서?
• RQ5 현재의 대체 지표(예: 이름 기반 성별, 소속 기반 지리)가 다양성 측정에 있어 어떤 한계를 지니는가?

주요 결과

• 2020년 네우립스(2020 NeurIPS)가 최고의 컨퍼런스 다양성 지수(CDI) 0.89를 기록하여 모든 차원에서 뛰어난 다양성을 보였다.
• 가장 낮은 CDI는 ICML 2018(0.44)과 RecSys 2019(0.49)에서 기록되었으며, 주로 모든 기조 연사가 학계 소속으로 기업 다양성이 낮아서였다.
• 모든 컨퍼런스의 저자 및 조직위원회에 걸쳐 아프리카 출신 연구자는 단 5명에 불과하여 심각한 부족함이 드러났다.
• 기조 연사 다양성은 크게 향상되었으며, 몇몇 컨퍼런스는 성별 균형에 가까운 수준을 달성하여 시각화 노력의 진전을 보였다.
• 지리적 다양성은 여전히 낮으며, 대부분의 컨퍼런스가 북미와 유럽 연구자들에 의해 지배되고 있으며, 평균적으로 3~4개 지역만 포함되어 있었다.
• 컨퍼런스 다양성 지수(CDI)는 다양성 추세를 추적하고 향후 개선이 필요한 분야를 식별하는 데 효과적인 요약 지표로서 간결하고 비교 가능한 성격을 지닌다.