[논문 리뷰] Predicting the Future of AI with AI: High-quality link prediction in an exponentially growing knowledge network

Mario Krenn, Lorenzo Buffoni외 14명|arXiv (Cornell University)|2022. 09. 23.

Bioinformatics and Genomic Networks참고 문헌 57인용 수 7

한 줄 요약

이 논문은 10만 개 이상의 인공지능 연구 논문에서 유도된 의미적 지식 네트워크의 진화를 모델링하여 AI 분야의 미래 연구 방향을 예측하기 위한 벤치마크인 Science4Cast를 소개한다. 엔드 투 엔드 학습 대신 수작업으로 설계된 네트워크 특징을 사용함으로써, 최고의 모델들은 높은 영향력 있는 미래 링크 예측에서 AUC 점수 99% 이상을 달성하였으며, 이는 이 작업에서 정교하게 선별된 특징이 순수 딥러닝보다 우수하다는 것을 보여준다.

ABSTRACT

A tool that could suggest new personalized research directions and ideas by taking insights from the scientific literature could significantly accelerate the progress of science. A field that might benefit from such an approach is artificial intelligence (AI) research, where the number of scientific publications has been growing exponentially over the last years, making it challenging for human researchers to keep track of the progress. Here, we use AI techniques to predict the future research directions of AI itself. We develop a new graph-based benchmark based on real-world data -- the Science4Cast benchmark, which aims to predict the future state of an evolving semantic network of AI. For that, we use more than 100,000 research papers and build up a knowledge network with more than 64,000 concept nodes. We then present ten diverse methods to tackle this task, ranging from pure statistical to pure learning methods. Surprisingly, the most powerful methods use a carefully curated set of network features, rather than an end-to-end AI approach. It indicates a great potential that can be unleashed for purely ML approaches without human knowledge. Ultimately, better predictions of new future research directions will be a crucial component of more advanced research suggestion tools.

연구 동기 및 목표

• 시간에 따라 변화하는 의미적 지식 네트워크의 진화를 모델링하여 인공지능 분야의 미래 연구 방향을 예측하기 위한 벤치마크를 개발한다.
• 인간 연구자가 새로운 연결 고리를 추적하는 데 어려움을 겪을 정도로 급격히 증가하는 AI 문헌의 문제를 해결한다.
• 통계적 방법에서 딥러닝에 이르기까지 다양한 방법을 평가하여, AI 분야에서 새로운 높은 영향력의 연구 링크를 예측한다.
• 수작업으로 설계된 특징과 엔드 투 엔드 학습 중 어느 것이 예측 과학적 진화 성능에서 더 우수한지 탐구한다.
• 다학문적이고 높은 영향력을 가진 연구 기회를 식별하는 AI 기반 연구 제안 도구의 기반을 마련한다.

제안 방법

• 1992~2020년 사이의 AI, 머신러닝 및 관련 분야의 143,000편의 arXiv 논문에서 NLP 도구(예: RAKE)를 사용해 64,000개의 개념 노드를 추출하여 동적 의미 네트워크를 구축했다.
• 논문의 제목이나 초록에서 개념들이 동시에 등장할 경우 간선을 정의하여 시간에 따라 변화하는 네트워크를 형성하였으며, 총 1,800만 개의 간선을 확보했다.
• 10종의 서로 다른 방법을 개발: 수작업으로 설계된 네트워크 특징 기반의 다섯 가지 방법(예: 공통 이웃 수, 재난 지수, 선호적 연결)과 임베딩 기반의 다섯 가지 방법(예: ProNE, Node2Vec, GCN, GAT, GNN-MLP)을 포함한다.
• 3년 예측 윈도우를 사용하여 미래 링크 예측—특히 아직 연결되어 있지 않은 개념 쌍이 향후 논문에서 동시 출현할지를 예측—을 위해 모델을 훈련하고 평가했다.
• 주요 평가 지표로 AUC와 AUPRC를 사용하였으며, 특히 3회 이상 발생하는 고빈도 향후 링크에 중점을 두었다.
• 임베딩 기반 모델의 초모수(예: Node2Vec의 p 및 q)를 최적화하고 특징 기반 기준 모델과 성능을 비교했다.

실험 결과

연구 질문

• RQ1 과학 문헌에서 유도된 지식 네트워크가 시간에 따라 인공지능 연구 트렌드의 진화를 정확하게 모델링할 수 있는가?
• RQ2 인공지능 분야에서 미래 연구 링크를 예측할 때, 수작업으로 설계된 네트워크 특징이 엔드 투 엔드로 학습된 표현보다 우수한가?
• RQ3 다양한 통계적 및 기계학습 모델이 대규모 실세계 동적 의미 네트워크에서 예측 성능는 어떠한가?
• RQ4 향후 링크의 빈도(예: 3회 이상 발생)가 예측 정확도에 어떤 영향을 미치는가?
• RQ5 이러한 시스템이 과학자들을 위한 AI 기반 연구 제안 도구 개발을 얼마나 잘 지원할 수 있는가?

주요 결과

• 최고의 성능을 보인 모델들은 높은 영향력 있는 미래 링크(3회 이상 발생) 예측에서 AUC 점수가 99%를 초과하여, 인공지능 연구 진화에 거의 결정론적인 패턴이 존재함을 시사한다.
• meticulous하게 선별된 수작업 특징을 사용한 모델들이 엔드 투 엔드 학습 방법보다 유의미하게 뛰어난 성능을 보였으며, 이는 인간이 설계한 특징이 여전히 매우 효과적이라는 것을 의미한다.
• ProNE 그래프 임베딩 방법은 특히 초모수 민감도에 비해 구조적 인덕티브 바이어스 덕분에 Node2Vec보다 뛰어난 성능을 보였다.
• 향후 연구 방향 예측은 매우 실현 가능하며, 과학 문헌의 대규모 실세계 데이터에서조차도 강력한 성능을 보였다.
• Science4Cast 벤치마크는 인공지능 연구 진화의 역동성을 성공적으로 포착하고 있으며, 다양한 방법론 평가를 지원한다.
• 계산 자원의 제약으로 일부 모델(M6 등)의 완전한 배포가 불가능하여, 대규모 네트워크 분석에서의 확장성 문제를 드러냈다.