[논문 리뷰] On the Evolution of A.I. and Machine Learning: Towards a Meta-level Measuring and Understanding Impact, Influence, and Leadership at Premier A.I. Conferences

Rafael Baldasso Audibert, Henrique Lemos외 3명|arXiv (Cornell University)|2022. 05. 26.

Scientific Computing and Data Management인용 수 6

한 줄 요약

이 논문은 1969년에서 2023년까지 주요 인공지능 컨ferences에서 유도된 인용 및 협업 네트워크를 사용하여 인공지능과 기계학습의 진화를 메타 수준에서 분석한다. 다섯 가지 새로운 그래프 기반 데이터셋(예: 저자 소속을 추론하기 위한 국적 인용 그래프)을 구축하여 중심성 측정치를 계산함으로써 연구자 영향력, 영향력 및 리더십을 정량화하며, 튜링상 수상자와 그들이 가장 많이 인용된 학술지 간의 양의 상관관계를 드러낸다.

ABSTRACT

Artificial Intelligence is now recognized as a general-purpose technology with ample impact on human life. This work aims at understanding the evolution of AI and, in particular Machine learning, from the perspective of researchers' contributions to the field. In order to do so, we present several measures allowing the analyses of AI and machine learning researchers' impact, influence, and leadership over the last decades. This work also contributes, to a certain extent, to shed new light on the history and evolution of AI by exploring the dynamics involved in the field's evolution by looking at papers published at the flagship AI and machine learning conferences since the first International Joint Conference on Artificial Intelligence (IJCAI) held in 1969. AI development and evolution have led to increasing research output, reflected in the number of articles published over the last sixty years. We construct comprehensive citation collaboration and paper-author datasets and compute corresponding centrality measures to carry out our analyses. These analyses allow a better understanding of how AI has reached its current state of affairs in research. Throughout the process, we correlate these datasets with the work of the ACM Turing Award winners and the so-called two AI winters the field has gone through. We also look at self-citation trends and new authors' behaviors. Finally, we present a novel way to infer the country of affiliation of a paper from its organization. Therefore, this work provides a deep analysis of Artificial Intelligence history from information gathered and analysed from large technical venues datasets and suggests novel insights that can contribute to understanding and measuring AI's evolution.

연구 동기 및 목표

• 연구자 영향력, 영향력 및 리더십의 시각에서 1969년부터 2023년까지의 장기적 인공지능 및 기계학습 연구 진화를 이해하기 위해.
• 1969년 이후 주요 인공지능 컨퍼런스에서의 출판 및 인용 패턴을 분석하여 인공지능 발전의 역학을 분석하기 위해.
• 튜링상 수상자와 그들이 가장 많이 인용된 학술지 간의 관계를 조사하여 수상자들이 연구 트렌드를 이끌었는지 여부를 평가하기 위해.
• 지식 그래프 파이프라인과 데이터 캐싱을 사용한 그래프 기반 파이프라인을 통해 소속 기관 이름으로부터 국적 소속을 추론하는 새로운 방법을 개발하기 위해.
• 미래의 학술 네트워크 분석 및 인공지능 역사 연구를 지원하기 위해 재사용 가능하고 오픈소스 도구 및 데이터셋을 구축하기 위해.

제안 방법

• DBLP와 ArnetMiner v11에서 유래한 DBLP 및 ArnetMiner v11에서 종합적인 인용-협업 및 논문-저자 데이터셋을 구축하여 그래프 구조로 변환하였다.
• 저자 및 논문 중요도를 시간에 따라 평가하기 위해 다수의 그래프 중심성 측정치(예: 중간성, 가까움, 코어성)를 계산하였다.
• 지식 그래프 파이프라인과 데이터 캐싱을 사용한 새로운 알고리즘을 개발하여 기관 이름에서 국적 소속을 추론하였다.
• 튜링상 수상자 논문의 인용 영향력을 주요 인공지능 컨퍼런스에서 출판된 논문들과 비교하기 위해 스피어만 상관계수를 적용하였다.
• XML을 효율적으로 JSON으로 변환할 수 있는 파이썬 기반 스트림 처리 라이브러리를 구축하여 대규모 학술 데이터셋의 스케일러블 처리를 가능하게 하였다.
• 대규모 그래프에서의 계산 성능 향상을 위해 중간성 및 가까움 중심성 알고리즘의 병렬화된 버전을 구현하였다.

실험 결과

연구 질문

• RQ1 1969년에서 2023년까지 주요 인공지능 컨퍼런스에서 핵심 인공지능 연구자의 연구 영향력과 영향력은 어떻게 변화해 왔는가?
• RQ2 튜링상 수상자의 가장 많이 인용된 논문은 그들의 연구 분야의 주요 학술지와 얼마나 일치하는가?
• RQ3 그래프 기반 추론 파이프라인을 사용하여 기관 이름에서 저자의 국적 소속을 신뢰성 있게 추론할 수 있는가?
• RQ4 자기 인용 트렌드와 새로운 연구자들의 등장 패턴은 시간이 지남에 따라 어떻게 나타나는가?
• RQ5 협업 및 인용 네트워크의 역학은 인공지능의 겨울 또는 기술적 돌파구와 같은 광범위한 역사적 트렌드를 어떻게 반영하는가?

주요 결과

• 연구는 튜링상 수상자 논문의 인용 영향력과 그들이 발표한 학술지 간에 강한 양의 상관관계를 드러내며, 이는 수상자들이 자신이 선택한 컨퍼런스의 가시성에 상당한 영향을 미친다는 것을 시사한다.
• 국적 인용 그래프는 기관 이름에서 국적 소속을 높은 정확도로 추론하여 국제 연구 이동성과 '인적 자원 이탈' 패턴을 분석하는 데 새로운 가능성을 열었다.
• 자기 인용 트렌드는 2000년대에 특히 고영향력 연구자들 사이에서 뚜렷한 증가를 보이며, 인용 순환에 의한 영향력 확대 가능성을 시사한다.
• 인공지능 연구 분야의 신규 연구자들은 알파고나 GPT-3와 같은 주요 기술적 돌파구 이후에 출판 활동의 피크를 보이며 명확한 시간적 군집 패턴을 보인다.
• 중심성 측정치 분석은 일관되게 영향력 있는 연구자와 논문을 특정하며, 2010년 이후 심층학습 연구자들에게 리더십이 이관된 것으로 나타났다.
• 제안된 그래프 기반 파이프라인과 파이썬 라이브러리는 학술 데이터셋의 효율적이고 확장 가능한 처리를 가능하게 하였으며, 병렬 중심성 계산을 통해 대규모 그래프에서 실행 시간을 최대 70%까지 단축시켰다.