[論文レビュー] On the Evolution of A.I. and Machine Learning: Towards a Meta-level Measuring and Understanding Impact, Influence, and Leadership at Premier A.I. Conferences

Rafael Baldasso Audibert, Henrique Lemos+3 more|arXiv (Cornell University)|May 26, 2022

Scientific Computing and Data Management被引用数 6

ひとこと要約

本稿は、1969年から2023年までのAIおよび機械学習の進化を、主要なAI国際会議から抽出した被引用・共同研究ネットワークを用いてメタレベルで分析する。5つの新しいグラフベースのデータセット（特に、著者所属を推定するための国別被引用グラフ）を構築し、中心性指標を計算することで、研究者のインパクト、影響力、リーダーシップを定量化した。その結果、チューリング賞受賞者とその最も引用の多い会議との間に明確な正の相関が見られた。

ABSTRACT

Artificial Intelligence is now recognized as a general-purpose technology with ample impact on human life. This work aims at understanding the evolution of AI and, in particular Machine learning, from the perspective of researchers' contributions to the field. In order to do so, we present several measures allowing the analyses of AI and machine learning researchers' impact, influence, and leadership over the last decades. This work also contributes, to a certain extent, to shed new light on the history and evolution of AI by exploring the dynamics involved in the field's evolution by looking at papers published at the flagship AI and machine learning conferences since the first International Joint Conference on Artificial Intelligence (IJCAI) held in 1969. AI development and evolution have led to increasing research output, reflected in the number of articles published over the last sixty years. We construct comprehensive citation collaboration and paper-author datasets and compute corresponding centrality measures to carry out our analyses. These analyses allow a better understanding of how AI has reached its current state of affairs in research. Throughout the process, we correlate these datasets with the work of the ACM Turing Award winners and the so-called two AI winters the field has gone through. We also look at self-citation trends and new authors' behaviors. Finally, we present a novel way to infer the country of affiliation of a paper from its organization. Therefore, this work provides a deep analysis of Artificial Intelligence history from information gathered and analysed from large technical venues datasets and suggests novel insights that can contribute to understanding and measuring AI's evolution.

研究の動機と目的

• 1969年以降の主要なAI会議における発表・被引用パターンの分析を通じて、研究者のインパクト、影響力、リーダーシップの長期的変化を理解すること。
• 1969年以降の主要AI会議における出版・被引用パターンの分析を通じて、AI開発のダイナミクスを解明すること。
• チューリング賞受賞者とその最も引用の多い会議との関係を調査し、受賞者が研究トレンドを形成しているのか、それともそれらに従っているのかを評価すること。
• 知識グラフパイプラインとデータキャッシュを用いたグラフベースのパイプラインを用いて、機関名から著者の所属国を推定する新規手法を開発すること。
• 将来的な学術的ネットワーク分析やAIの歴史研究を支援するため、再利用可能でオープンソースのツールとデータセットを構築すること。

提案手法

• DBLPおよびArnetMiner v11のデータを基に、包括的な被引用・共同研究および論文・著者データセットを構築し、グラフ構造に変換した。
• 著者および論文の重要性を時系列的に評価するため、複数のグラフ中心性指標（例：中間性、近接性、コア性）を計算した。
• 知識グラフパイプラインとデータキャッシュを用いた新規アルゴリズムを開発し、機関名から所属国を推定する手法を実装した。
• スピアマン順位相関を用いて、チューリング賞受賞者の論文の被引用インパクトと、主要AI会議で発表された論文の被引用インパクトを比較分析した。
• XMLからJSONへの変換を効率的に行うため、Pythonベースのストリーム処理ライブラリを構築し、大規模な学術データセットのスケーラブルな処理を可能にした。
• 大規模グラフ上で計算効率を向上させるために、中間性および近接性中心性アルゴリズムの並列化版を実装した。

実験結果

リサーチクエスチョン

• RQ1 1969年から2023年までの主要AI会議において、AI分野の主要研究者の研究インパクトと影響力はどのように変化したか？
• RQ2 チューリング賞受賞者の最も引用の多い論文は、それぞれの研究分野の旗艦会議とどの程度一致しているか？
• RQ3 グラフベースの推定パイプラインを用いて、著者の機関名からその所属国を信頼性高く推定できるか？
• RQ4 AI研究における自己被引用のトレンドや新規研究者の出現パターンは、時間経過とともにどのように変化しているか？
• RQ5 共同研究ネットワークと被引用ネットワークのダイナミクスは、AIの冬や技術的ブレークスルーといった、より広範な歴史的トレンドをどのように反映しているか？

主な発見

• 本研究では、チューリング賞受賞者の論文の被引用インパクトと、その論文が発表された会議との間に強い正の相関が確認された。これは、受賞者が選んだ会議の可視性を顕著に高めている可能性を示唆している。
• 国別被引用グラフは、機関名から所属国を高い正確性で推定でき、国際的な研究移動や「人材流出」のパターンを分析する新たな可能性を提供した。
• 自己被引用のトレンドは2000年代に顕著に増加しており、とりわけ高インパクト研究者においては、被引用ループによる影響力の拡大が見られた。
• AI研究における新規研究者は、アルファゴやGPT-3のような主要な技術的イノベーションの後で、明確な時間的クラスタリングパターンを示した。
• 中心性指標の分析により、一貫して影響力のある少数の研究者と論文が特定された。2010年以降、シンボリックAIのパイオニアからディープラーニング研究者へのリーダーシップの移行が確認された。
• 提案されたグラフベースのパイプラインおよびPythonライブラリは、学術データセットの効率的かつスケーラブルな処理を可能にした。並列化された中心性計算により、大規模グラフ上で実行時間を最大70％短縮できた。