[논문 리뷰] Science and Technology Advance through Surprise

Feng Shi, James A. Evans|arXiv (Cornell University)|2019. 10. 18.

Technology Assessment and Management참고 문헌 17인용 수 10

한 줄 요약

이 논문은 과학적 및 기술적 돌풍이 다학제 분야 간의 예측 불가능한 조합인 문제, 방법, 맥락의 놀라움에 의해 강하게 예측됨을 보여준다. 수백만 건의 논문과 특허에서 유도된 고차원 스토하스틱 블록 모델의 임bedding을 사용하여, 저자들은 비현실적인 조합이 최대 50퍼센트의 초우량 인용과 주요 수상 가능성을 예측함을 입증했으며, 대부분의 돌풍은 거리가 먼 분야가 서로의 문제를 해결함으로써 발생한다.

ABSTRACT

Breakthrough discoveries and inventions involve unexpected combinations of contents including problems, methods, and natural entities, and also diverse contexts such as journals, subfields, and conferences. Drawing on data from tens of millions of research papers, patents, and researchers, we construct models that predict next year's content and context combinations with an AUC of 95% based on embeddings constructed from high-dimensional stochastic block models, where the improbability of new combinations itself predicts up to 50% of the likelihood that they will gain outsized citations and major awards. Most of these breakthroughs occur when problems in one field are unexpectedly solved by researchers from a distant other. These findings demonstrate the critical role of surprise in advance, and enable evaluation of scientific institutions ranging from education and peer review to awards in supporting it.

연구 동기 및 목표

• 내용과 맥락의 비현실적인 조합인 놀라움이 과학적 및 기술적 돌풍을 이끄는 데 미치는 역할을 조사하기 위해.
• 연구 분야 간의 내용-맥락 조합의 비현실성 정도를 수량화하여 향후 돌풍 발생 가능성을 모델링하기 위해.
• 기관이 이러한 놀라움을 유도하는 고영향력 조합을 육성하는 능력에 기반해 평가될 수 있는지 평가하기 위해.
• 고영향력 연구 및 혁신을 이끄는 교차 분야 협업의 패턴을 규명하기 위해.
• 과학 문헌과 특허의 대규모 데이터를 활용해 돌풍을 예측하는 프레임워크를 개발하기 위해.

제안 방법

• 수백만 건의 논문, 특허, 연구자 데이터로부터 고차원 스토하스틱 블록 모델을 구축하여 내용과 맥락을 포괄하는 임bedding를 생성하였다.
• 이러한 임bedding를 사용해 다음 해의 내용-맥락 조합을 예측했으며, 수확률 곡선 아래 면적(AUC)이 95%였다.
• 모델 예측 기반으로 특정 내용-맥락 조합이 발생할 확률의 역수로 '놀라움'을 정의하였다.
• 비현실적인 조합과 인용 수 및 주요 수상 간의 관계를 상관관계 분석으로 측정하였다.
• 다른 분야의 문제를 먼 분야의 연구자들이 예측 불가능하게 해결하는 경우를 추적하여 교차 분야 문제 해결을 분석하였다.
• 주요 수상 및 인용 급증과 같은 고영향력 결과를 예측할 수 있는 능력을 테스트하여 놀라움의 예측 능력을 평가하였다.

실험 결과

연구 질문

• RQ1 내용-맥락 조합의 비현실성은 과학적 돌풍을 어느 정도 예측할 수 있는가?
• RQ2 멀리 떨어진 분야의 연구자들이 다른 분야의 문제를 해결할 때 돌풍이 얼마나 자주 발생하는가?
• RQ3 놀라움, 즉 예측 불가능한 조합이 정량화되어 고영향력 연구 결과를 예측하는 데 사용될 수 있는가?
• RQ4 교차 분야 연결은 고영향력 혁신 생성에 어떤 역할을 하는가?
• RQ5 伝통적 지표에 비해 놀라움 기반 모델은 미래의 인용 및 수상 예측에 얼마나 잘 작동하는가?

주요 결과

• 모델은 다음 해의 내용-맥락 조합을 수확률 곡선 아래 면적(AUC) 95%로 예측하여 강력한 예측 능력을 입증하였다.
• 내용-맥락 조합의 비현실성은 논문이나 특허가 초우량 인용 또는 주요 수상 가능성을 최대 50퍼센트 예측할 수 있었다.
• 대부분의 돌풍은 한 분야의 문제가 먼 관련 없는 분야의 연구자들에 의해 예측 불가능하게 해결될 때 발생하였다.
• 조합의 확률의 역수로 측정된 놀라움은 표준 지표를 초월해 고영향력 결과를 예측하는 데 중요한 예측 변수였다.
• 연구는 특히 먼 분야 간의 교차 분야 연결이 변혁적 혁신 생성에 핵심적임을 드러냈다.
• 과학 기관은 이러한 놀라움을 유도하는 고영향력 조합을 지원하거나 가능하게 하는 능력에 기반해 평가될 수 있다.