[논문 리뷰] Monitoring Diversity of AI Conferences: Lessons Learnt and Future Challenges in the DivinAI Project

Isabelle Hupont, Emília Gómez외 3명|arXiv (Cornell University)|2022. 03. 03.

Conferences and Exhibitions Management인용 수 6

한 줄 요약

이 논문은 샤논 및 펠루 다각도 지수를 사용하여 주요 인공지능 컨퍼런스에서 성별, 지리적, 기업 다양성을 모니터링하는 개방형 플랫폼인 DivinAI를 제시한다. AAAI, ICML, IJCAI, NeurIPS, RecSys에서 2019~2021년까지의 데이터를 분석하여 데이터 수집, 표현, 장기적 지속 가능성의 과제를 밝혀내며, AI 연구 공동체 내 포용성 향상 및 다양성 이니셔티브의 종단적 추적을 위한 권고안을 제시한다.

ABSTRACT

DivinAI is an open and collaborative initiative promoted by the European Commission's Joint Research Centre to measure and monitor diversity indicators related to AI conferences, with special focus on gender balance, geographical representation, and presence of academia vs companies. This paper summarizes the main achievements and lessons learnt during the first year of life of the DivinAI project, and proposes a set of recommendations for its further development and maintenance by the AI community.

연구 동기 및 목표

• 주요 인공지능 컨퍼런스에서 다양성을 측정하고 모니터링하기 위한 투명하고 공동체 기반 플랫폼을 개발하기 위해.
• 여행 보조금 및 멘토링과 같은 다양성 및 포용 정책이 성별, 지리, 소속 기관 측면에서 표현에 미치는 영향을 평가하기 위해.
• AI 연구 행사에서 종단적 다양성 추적을 방해하는 데이터 수집, 표현, 지속 가능성 측면의 체계적 과제를 규명하기 위해.
• 데이터 완전성 향상, 기관 참여 증대, 이해관계자에게 다양성 지표를 효과적으로 전달하기 위한 실천 가능한 권고안을 제공하기 위해.

제안 방법

• 플랫폼은 샤논 및 펠루 생물다양성 지수를 기반으로 성별 다양성 지수(GDI), 기업 다양성 지수(BDI), 지리적 다양성 지수(GeoDI), 컨퍼런스 다양성 지수(CDI)의 네 가지 다양성 지수를 계산한다.
• 공개된 컨퍼런스 논문집과 웹사이트에서 데이터를 추출하여, 저자 이름과 소속 정보에서 성별, 지리적 기원, 소속 기관(학계, 산업, 연구소)을 유추한다.
• 기여자들은 해크페스트 기간 동안 수동으로 데이터를 주석 처리하거나, DBLP, Web of Science, NamSor, Gender API와 같은 반자동 도구를 사용해 성별을 추론한다.
• 지수는 키note 연사자, 조직위원회, 논문 저자 세 역할별로 별도로 계산된 후 평균을 내어 종합 다양성 점수를 산출한다.
• 플랫폼은 상호작용 가능한 대시보드, 히스토GRAM, 세계 지도를 통해 결과를 시각화하여 다수의 컨퍼런스 간 비교를 가능하게 한다.
• 장기적 데이터 수집이 우선시되어 다양성 이니셔티브의 시간에 따른 영향을 평가할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 표준화되고 오픈소스 기반의 지표를 사용해 인공지능 컨퍼런스의 다양성을 체계적으로 측정하고 모니터링할 수 있는 방법은 무엇인가?
• RQ2 인공지능 컨퍼런스에서 성별, 지리, 소속 기관 측면에서 다양성 데이터를 수집하고 표현하는 데 있어 주요 과제는 무엇인가?
• RQ3 현재의 다양성 지표가 실제 정책 영향과 어느 정도 상관이 있으며, 그 해석에 영향을 미칠 수 있는 혼란 요인은 무엇인가?
• RQ4 컨퍼런스 조직자와 넓은 인공지능 공동체가 다양성 데이터 수집에 기여하고 지속 가능하게 하기 위해 어떤 동기가 필요할까?
• RQ5 주제 다양성과 더 세분화된 기관 유형을 포함하기 위해 다양성 측정 방식에 어떤 개선이 필요할까?

주요 결과

• DivinAI 플랫폼은 2019년부터 2021년까지 주요 인공지능 컨퍼런스의 다양성 데이터를 성공적으로 수집하고 시각화하여 성별, 지리적, 기업 다양성에 대한 다수 컨퍼런스 간 비교를 가능하게 하였다.
• 현재 기업 다양성 지수(BDI)는 저자 한 명당 하나의 소속 기관만 고려하여, 학계와 산업계의 이중 소속을 가진 개인의 진정성 있는 표현을 왜곡할 수 있다.
• 지리적 다양성은 컨퍼런스의 개최 장소에 크게 영향을 받으며, 온라인 또는 순환 개최 방식이 지역 간 표현에 영향을 미친다.
• 컨퍼런스 조직자들이 데이터 기여를 적극적으로 유도할 동기가 부족하여, 데이터 수집에 DivinAI 팀에 대한 의존도가 높아지고 있다.
• 플랫폼은 최근의 다양성 이니셔티브 영향을 의미 있게 평가하기 위해 최소 10년 이상의 종단적 데이터 수집이 필요하다는 점을 밝혀냈다.
• 향후 개선 사항으로는 AI 분류 체계를 활용한 주제 다양성 통합과, GRID 데이터베이스를 통해 의료 기관, 정부 기관, 비영리 기관을 포함한 BDI 확장이 포함된다.