[논문 리뷰] Using Machine Learning to Predict the Evolution of Physics Research

Wenyuan Liu|arXiv (Cornell University)|2018. 10. 29.

scientometrics and bibliometrics research참고 문헌 41인용 수 5

한 줄 요약

이 논문은 1981–2010년 동안의 APS 출판물에서의 문헌 연계 및 공동인용 네트워크를 활용하여 물리학 연구 공동체의 진화를 예측하기 위한 기계학습 프레임워크를 제안한다. 루바인 방법을 통해 시간에 따라 주제 클러스터를 추적하고, 친밀도 지수를 사용한 그룹 진화 탐지(GED) 방법을 적용함으로써, 특히 차수(degree), 중심성(betweenness), 저널별 논문 수와 같은 핵심 예측 특징을 식별하며, 융합, 분할, 지속, 소멸과 같은 클러스터 사건을 정확하게 예측한다.

ABSTRACT

The advancement of science as outlined by Popper and Kuhn is largely qualitative, but with bibliometric data it is possible and desirable to develop a quantitative picture of scientific progress. Furthermore it is also important to allocate finite resources to research topics that have growth potential, to accelerate the process from scientific breakthroughs to technological innovations. In this paper, we address this problem of quantitative knowledge evolution by analysing the APS publication data set from 1981 to 2010. We build the bibliographic coupling and co-citation networks, use the Louvain method to detect topical clusters (TCs) in each year, measure the similarity of TCs in consecutive years, and visualize the results as alluvial diagrams. Having the predictive features describing a given TC and its known evolution in the next year, we can train a machine learning model to predict future changes of TCs, i.e., their continuing, dissolving, merging and splitting. We found the number of papers from certain journals, the degree, closeness, and betweenness to be the most predictive features. Additionally, betweenness increases significantly for merging events, and decreases significantly for splitting events. Our results represent a first step from a descriptive understanding of the Science of Science (SciSci), towards one that is ultimately prescriptive.

연구 동기 및 목표

• 물리학 분야의 과학적 연구 공동체 진화에 대한 정량적 예측 모델을 개발하기 위해.
• 기계학습을 활용해 주제 클러스터(TC) 진화—예를 들어 융합, 분할, 지속, 소멸—에 가장 예측력이 높은 특징을 식별하기 위해.
• 연구 자원 배분을 위한 기술적 프레임워크로 전환하기 위해 과학 지식 진화의 묘사적 분석을 넘어선 사전적 접근을 위해.
• 역사적 APS 출판 데이터(1981–2010)를 사용해 모델를 검증하고 반복적인 특징 선택을 통해 특징의 중요도를 평가하기 위해.

제안 방법

• 1981–2010년 동안의 APS 출판 데이터에서 문헌 연계 및 공동인용 네트워크를 구축하였다.
• 매년 주제 클러스터(TCs)를 식별하기 위해 루바인 방법을 적용하여 연구 공동체를 대표하는 클러스터를 탐지하였다.
• 포함도 측정법과 친밀도 지수를 사용한 그룹 진화 탐지(GED) 방법을 적용하여 연속된 연도 간의 TC를 매칭하고 진화 사건을 레이블링하였다.
• 이웃 연도 간의 TC 간 참조 기반 유사도를 측정하기 위해 정방향 및 역방향 친밀도 지수를 정의하였으며, 사회적 위치(Social Position, SP)를 통해 인용 중요도를 가중 처리하였다.
• 구조적(차수, 밀도, 중심성), 동적, 그리고 맥락적 특징(예: 저널별 논문 수 포함)을 포함해 100개 이상의 특징을 각 TC에서 추출하였다.
• 반복적인 진화 알고리즘 기반 특징 선택을 통해 기계학습 분류기를 훈련시켜 사건 예측에 가장 유용한 특징을 순위 매기고 선별하였다.

실험 결과

연구 질문

• RQ1 물리학 연구에서 주제 클러스터 진화에 가장 예측력이 높은 네트워크 및 맥락적 특징는 무엇인가?
• RQ2 중심성 및 차수와 같은 구조적 특성은 융합 또는 분할과 같은 특정 진화 사건과 어떻게 상관관계가 있는가?
• RQ3 공유된 참조 기반 친밀도 지수는 시간에 따라 클러스터 진화 사건을 매칭하고 레이블링하는 정확도를 향상시킬 수 있는가?
• RQ4 새로운 동적 및 맥락적 특징은 기존의 구조적 지표에 비해 미래의 클러스터 행동 예측에서 얼마나 뛰어난 성능을 보이는가?
• RQ5 역사적 데이터 기반 기계학습 모델이 높은 정확도로 미래의 연구 공동체 변화(예: 융합, 소멸)를 신뢰성 있게 예측할 수 있는가?

주요 결과

• 일부 저널에서의 논문 수, 차수, 밀도, 중심성은 주제 클러스터 진화 사건을 분류하는 데 가장 예측력이 높은 특징였다.
• 중심성은 융합 사건 전에 유의미하게 증가하고 분할 사건 전에 유의미하게 감소하여 강력한 분류 능력을 보였다.
• 동적 및 맥락적 특징(예: 저널별 논문 수 포함)을 포함시킴으로써 기존의 구조적 특징만을 사용한 경우보다 예측 성능이 향상되었다.
• 진화 알고리즘 기반 특징 선택을 통해 안정적인 상위 10개 특징의 집합이 도출되었으며, 이는 100개 이상의 모든 특징을 사용한 모델보다 뛰어난 성능을 보였다.
• 모델는 지속, 소멸, 융합, 분할의 네 가지 핵심 진화 유형을 성공적으로 예측하였으며, 이전의 상관관계 기반 접근보다 측정 가능한 향상이 있었다.
• 결과는 과학의 과학(SciSci) 분야에서 묘사적 모델링에서 사전적 모델링으로의 전환을 보여주며, 고성장 또는 고영향력 연구 분야의 사전 식별을 가능하게 한다.