[논문 리뷰] The Pace of Artificial Intelligence Innovations: Speed, Talent, and Trial-and-Error

Xuli Tang, Xin Li외 3명|arXiv (Cornell University)|2020. 09. 03.

Artificial Intelligence in Healthcare and Education참고 문헌 64인용 수 13

한 줄 요약

이 논문은 arXiv와 Semantic Scholar의 데이터를 활용하여 인공지능 혁신의 가속화된 속도를 측정하기 위해 평균 시간 간격(ATI), 혁신 속도(IS), 업데이트 속도(US)의 세 가지 지표를 포함하는 새로운 프레임워크를 제안한다. 2019년 기준 AI 전문 논문은 시간당 3편 이상이 제출되었으며, 1994년 대비 148배 증가했고, 딥러닝 관련 전문 논문은 시간당 약 1편씩 출간되었으며, 연구자들은 시간당 평균 5.26명이 새로운 분야에 진입하여, 인재 유입과 빠른 시도-오류 반복 과정이 가속화된 혁신 속도를 이끌고 있음을 시사한다.

ABSTRACT

Innovations in artificial intelligence (AI) are occurring at speeds faster than ever witnessed before. However, few studies have managed to measure or depict this increasing velocity of innovations in the field of AI. In this paper, we combine data on AI from arXiv and Semantic Scholar to explore the pace of AI innovations from three perspectives: AI publications, AI players, and AI updates (trial and error). A research framework and three novel indicators, Average Time Interval (ATI), Innovation Speed (IS) and Update Speed (US), are proposed to measure the pace of innovations in the field of AI. The results show that: (1) in 2019, more than 3 AI preprints were submitted to arXiv per hour, over 148 times faster than in 1994. Furthermore, there was one deep learning-related preprint submitted to arXiv every 0.87 hours in 2019, over 1,064 times faster than in 1994. (2) For AI players, 5.26 new researchers entered into the field of AI each hour in 2019, more than 175 times faster than in the 1990s. (3) As for AI updates (trial and error), one updated AI preprint was submitted to arXiv every 41 days, with around 33% of AI preprints having been updated at least twice in 2019. In addition, as reported in 2019, it took, on average, only around 0.2 year for AI preprints to receive their first citations, which is 5 times faster than 2000-2007. This swift pace in AI illustrates the increase in popularity of AI innovation. The systematic and fine-grained analysis of the AI field enabled to portrait the pace of AI innovation and demonstrated that the proposed approach can be adopted to understand other fast-growing fields such as cancer research and nano science.

연구 동기 및 목표

• 시간, 인재, 반복적 개발 측면에서 인공지능 혁신의 가속화된 속도를 정량화하기 위해.
• 빠르게 변화하는 연구 분야에서 AI 혁신 속도를 측정하기 위한 체계적 지표의 부족을 보완하기 위해.
• 전문 논문 및 연구자 활동 데이터를 기반으로 한 데이터 기반 프레임워크를 개발하여 AI의 실시간 혁신 역학을 파악하기 위해.
• 이 프레임워크가 난세포학 및 나노과학과 같은 빠르게 성장하는 과학 분야에도 적용 가능함을 보여주기 위해.

제안 방법

• 연구는 arXiv와 Semantic Scholar의 데이터를 통합하여 시간에 따라 AI 전문 논문, 연구자 진입, 전문 논문 업데이트를 추적한다.
• 평균 시간 간격(ATI)을 도입하여 연속적인 AI 전문 논문 제출 간 평균 시간을 측정한다.
• 혁신 속도(IS)를 ATI의 역수로 정의하여 새로운 AI 연구 기여의 속도를 나타낸다.
• 업데이트 속도(US)를 도입하여 전문 논문 수정 빈도를 정량화함으로써 AI 개발 과정의 시도-오류 방식을 캡처한다.
• 전문 논문 제출 및 인용 패턴의 시간적 분석을 통해 혁신 속도와 피드백 루프를 평가한다.
• 1994년부터 2019년까지의 추세를 분석하기 위해 지표를 적용하고, 딥러닝과 같은 AI 하위 분야 간 성장률을 비교한다.

실험 결과

연구 질문

• RQ1 1994년부터 2019년까지 AI 전문 논문 제출 속도는 어떻게 변화했으며, 이는 혁신 속도에 대해 어떤 시사점을 제공하는가?
• RQ2 AI 분야에 새로 진입하는 연구자의 속도는 얼마이며, 이는 시간이 지남에 따라 어떻게 변화했는가?
• RQ3 AI 전문 논문은 얼마나 자주 업데이트되고 있으며, 이는 AI 연구의 시도-오류 과정을 어떻게 드러내는가?
• RQ4 AI 전문 논문은 출판 후 얼마나 빨리 인용되며, 이 인용 속도는 시간이 지남에 따라 어떻게 변화했는가?
• RQ5 제안된 지표(ATI, IS, US)가 다른 과학 분야 간 혁신 역학을 비교하는 데 얼마나 유용한가?

주요 결과

• 2019년 기준 arXiv에 시간당 3편 이상의 AI 전문 논문이 제출되었으며, 이는 1994년 대비 148배 증가한 것이다.
• 딥러닝 관련 전문 논문은 2019년 기준 평균 0.87시간마다 하나씩 제출되었으며, 1994년 기준 대비 1,064배 증가했다.
• 2019년 기준 시간당 평균 5.26명의 신규 AI 연구자가 분야에 진입했으며, 1990년대 대비 175배 이상 빠른 속도였다.
• 2019년 기준 arXiv에 평균 41일마다 한 편의 업데이트된 AI 전문 논문이 제출되었으며, 약 33퍼센트의 AI 전문 논문이 최소 두 번 이상 수정된 바 있었다.
• 2019년 기준 AI 전문 논문의 첫 인용까지 평균 소요 시간은 0.2년으로 감소하여, 2000–2007년 평균 대비 5배 빠른 속도였다.
• 본 연구는 제안된 프레임워크가 난세포학 및 나노과학과 같은 다른 빠르게 성장하는 과학 분야에도 적용 가능함을 입증했다.