[論文レビュー] The Pace of Artificial Intelligence Innovations: Speed, Talent, and Trial-and-Error

Xuli Tang, Xin Li+3 more|arXiv (Cornell University)|Sep 3, 2020

Artificial Intelligence in Healthcare and Education参考文献 64被引用数 13

ひとこと要約

本論文は、arXivおよびSemantic Scholarのデータを用いて人工知能（AI）の革新の加速するペースを測定するための新しいフレームワークを提示する。3つの指標—平均時間間隔（ATI）、イノベーションスピード（IS）、アップデートスピード（US）—を導入し、2019年にはAIのプレプリントが1時間に3本以上、1994年と比べ148倍の割合で提出されていることが判明した。深層学習関連のプレプリントは0.87時間ごとに提出されており、1994年比で1,064倍の増加である。研究者も1時間に5.26名が新たに分野に参入しており、これは1990年代と比べて175倍以上速い。このように、人的資源と迅速な試行錯誤の反復が、前例のない速さの革新を生み出していることが示された。

ABSTRACT

Innovations in artificial intelligence (AI) are occurring at speeds faster than ever witnessed before. However, few studies have managed to measure or depict this increasing velocity of innovations in the field of AI. In this paper, we combine data on AI from arXiv and Semantic Scholar to explore the pace of AI innovations from three perspectives: AI publications, AI players, and AI updates (trial and error). A research framework and three novel indicators, Average Time Interval (ATI), Innovation Speed (IS) and Update Speed (US), are proposed to measure the pace of innovations in the field of AI. The results show that: (1) in 2019, more than 3 AI preprints were submitted to arXiv per hour, over 148 times faster than in 1994. Furthermore, there was one deep learning-related preprint submitted to arXiv every 0.87 hours in 2019, over 1,064 times faster than in 1994. (2) For AI players, 5.26 new researchers entered into the field of AI each hour in 2019, more than 175 times faster than in the 1990s. (3) As for AI updates (trial and error), one updated AI preprint was submitted to arXiv every 41 days, with around 33% of AI preprints having been updated at least twice in 2019. In addition, as reported in 2019, it took, on average, only around 0.2 year for AI preprints to receive their first citations, which is 5 times faster than 2000-2007. This swift pace in AI illustrates the increase in popularity of AI innovation. The systematic and fine-grained analysis of the AI field enabled to portrait the pace of AI innovation and demonstrated that the proposed approach can be adopted to understand other fast-growing fields such as cancer research and nano science.

研究の動機と目的

• 時間的経過に伴う人工知能の革新の加速を、人材と反復的開発の観点から定量的に測定すること。
• 急速に進化する研究分野におけるAI革新スピードを測定するための体系的指標の欠如に応えること。
• プレプリントおよび研究者活動のデータを用いたデータドリブンなフレームワークを構築し、AI分野における革新ダイナミクスのリアルタイムな捉え方を可能にすること。
• 本フレームワークが、がん研究やナノサイエンスなど、急速に成長する他の科学分野に対しても応用可能であることを示すこと。

提案手法

• 本研究は、arXivおよびSemantic Scholarのデータを統合し、時間経過に伴うAIプレプリント、研究者参入、プレプリントの更新を追跡する。
• 平均時間間隔（ATI）を導入し、連続するAIプレプリント提出の平均時間間隔を測定する。
• イノベーションスピード（IS）をATIの逆数として定義し、新しいAI研究貢献の発生レートを表す。
• アップデートスピード（US）を導入し、プレプリントの改訂頻度を定量化することで、AI開発における試行錯誤プロセスを捉える。
• プレプリント提出および引用パターンの時系列的分析を用いて、革新スピードとフィードバックループを評価する。
• フレームワークを1994年から2019年までの傾向分析に適用し、ディープラーニングなどのAI分野ごとの成長率を比較する。

実験結果

リサーチクエスチョン

• RQ1 1994年から2019年にかけて、AIプレプリントの提出レートはどのように変化したのか。これは革新スピードに何を示唆しているのか。
• RQ2 AI分野に新たに参入する研究者のレートはどのくらいで、時間経過とともにどのように変化したのか。
• RQ3 AIプレプリントはどのくらいの頻度で更新されているのか。これはAI研究における試行錯誤プロセスに何を明らかにしているのか。
• RQ4 AIプレプリントは出版後どのくらいの速さで引用されているのか。引用スピードは時間経過とともにどのように変化したのか。
• RQ5 提案された指標（ATI、IS、US）は、科学分野間での革新ダイナミクスを比較するためにどの程度利用可能なのか。

主な発見

• 2019年には、arXivに1時間に3本を超えるAIプレプリントが提出されており、1994年と比べ148倍の増加である。
• 2019年には、深層学習関連のプレプリントが0.87時間ごとに提出されており、1994年のベースライン比で1,064倍の増加である。
• 2019年には、1時間に平均5.26名の新しいAI研究者が分野に参入しており、1990年代と比べて175倍以上速い。
• 2019年には、1日あたり平均して1件のAIプレプリントが更新されており、約33％のAIプレプリントが2回以上改訂されている。
• AIプレプリントの初回引用までの平均時間は2019年に0.2年まで短縮され、2000年から2007年の平均と比べて5倍速くなった。
• 本研究では、提案されたフレームワークががん研究やナノサイエンスなどの他の急速に成長する科学分野に対しても応用可能であることを示した。