[論文レビュー] Predicting the Future of AI with AI: High-quality link prediction in an exponentially growing knowledge network

Mario Krenn, Lorenzo Buffoni+14 more|arXiv (Cornell University)|Sep 23, 2022

Bioinformatics and Genomic Networks参考文献 57被引用数 7

ひとこと要約

この論文では、10万件を超えるAI研究論文から構築された意味的知識ネットワークの進化をモデル化することで、AI分野における将来の研究動向を予測するベンチマーク「Science4Cast」を紹介する。エンドツーエンド学習ではなく、手作業で設計されたネットワーク特徴量を用いることで、最高のモデルは予測される高インパクトの将来リンクのAUCスコアが99％を超えることを達成した。これは、このタスクにおいて、カスタム特徴量が純粋なディープラーニングを上回ることを示している。

ABSTRACT

A tool that could suggest new personalized research directions and ideas by taking insights from the scientific literature could significantly accelerate the progress of science. A field that might benefit from such an approach is artificial intelligence (AI) research, where the number of scientific publications has been growing exponentially over the last years, making it challenging for human researchers to keep track of the progress. Here, we use AI techniques to predict the future research directions of AI itself. We develop a new graph-based benchmark based on real-world data -- the Science4Cast benchmark, which aims to predict the future state of an evolving semantic network of AI. For that, we use more than 100,000 research papers and build up a knowledge network with more than 64,000 concept nodes. We then present ten diverse methods to tackle this task, ranging from pure statistical to pure learning methods. Surprisingly, the most powerful methods use a carefully curated set of network features, rather than an end-to-end AI approach. It indicates a great potential that can be unleashed for purely ML approaches without human knowledge. Ultimately, better predictions of new future research directions will be a crucial component of more advanced research suggestion tools.

研究の動機と目的

• AI分野における将来の研究動向を予測するためのベンチマークを開発すること。これは、意味的知識ネットワークの時間的進化をモデル化することで実現する。
• AI文献の爆発的増加という課題に対処すること。これは、人間の研究者が新たな関連性を追跡する能力を圧倒する。
• 統計的手法からディープラーニングまで多様な手法を評価し、AI分野における新しい高インパクトの研究リンクを予測すること。
• 手作業で設計された特徴量とエンドツーエンド学習のどちらが、科学的進化の予測において優れた性能を示すかを検討すること。
• 分野横断的かつ高インパクトのある研究機会を同定するAI駆動の研究提案ツールの開発基盤を構築すること。

提案手法

• 1992年から2020年までのAI、機械学習、関連分野のarXiv論文14万3千件を対象に、NLPツール（例：RAKE）を用いて6万4千の概念ノードを抽出し、動的意味的ネットワークを構築した。
• 論文の題名または要旨に同じ概念が共起した場合にエッジを定義し、1800万エッジを有する時間的に進化するネットワークを構築した。
• 10種類の異なる手法を開発した。5つは手作業で設計されたネットワーク特徴量（例：共通の近傍数、ジャコーデ指数、優先接続）に基づくものであり、残りの5つは学習済み埋め込み（例：ProNE、Node2Vec、GCN、GAT、GNN-MLP）を用いるものである。
• 3年後のリンク予測を目的として、未接続の概念ペアが将来の論文で共起するかどうかを予測するタスクを設定し、モデルを訓練および評価した。
• 主な評価指標としてAUCとAUPRCを用い、特に3回以上発生する高頻度の将来リンクに注目した。
• 埋め込みベースのモデル（例：Node2Vecにおけるpおよびqのハイパーパrameter）の最適化を行い、特徴量ベースのベースラインと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 科学的文献から導出された知識ネットワークは、AI研究動向の時間的進化を正確にモデル化できるか？
• RQ2 AI分野における将来の研究リンクの予測において、手作業で設計されたネットワーク特徴量はエンドツーエンド学習の表現よりも優れた性能を示すか？
• RQ3 多様な統計的および機械学習モデルは、大規模かつ現実世界の進化する意味的ネットワークにおいて、どの程度の予測性能を示すか？
• RQ4 将来リンクの頻度（例：3回以上発生するもの）は、予測精度にどのような影響を与えるか？
• RQ5 このようなシステムは、研究者が分野横断的かつ高インパクトのある研究機会を同定するためのAI駆動の研究提案ツールの開発をどの程度支援できるか？

主な発見

• 最高のモデルは、3回以上発生する高インパクトの将来リンクを予測する際、AUCスコアが99％を超えた。これは、AI研究の進化にほぼ決定的パターンが存在することを示している。
• 慎重に選別された手作業で設計されたネットワーク特徴量を用いるモデルは、エンドツーエンド学習手法を著しく上回った。これは、人間が設計した特徴量が依然として極めて有効であることを示している。
• ProNEグラフ埋め込み法は、特にハイパーパrameterの感度に対して優れた性能を示し、構造的インダクティブバイアスのおかげで、Node2Vecよりも優れた性能を発揮した。
• 将来の研究動向を予測するタスクは、大規模かつ現実世界の科学的文献データに対しても非常に実現可能であり、優れた性能を示した。
• Science4Castベンチマークは、AI研究進化のダイナミクスを的確に捉えており、多様な手法の評価を可能にした。
• 計算上の制限により、一部のモデル（例：M6）の完全な展開が不可能だった。特に次数の高い特徴量の処理において、大規模ネットワーク解析におけるスケーラビリティの課題が浮き彫りになった。