[論文レビュー] Science and Technology Advance through Surprise

Feng Shi, James A. Evans|arXiv (Cornell University)|Oct 18, 2019

Technology Assessment and Management参考文献 17被引用数 10

ひとこと要約

本論文は、分野を越えた問題、手法、文脈の予期せぬ組み合わせの驚きが、科学的・技術的ブレークスルーを強く予測することを示している。数百万件の論文と特許の高次元確率的ブロックモデルからの埋め込みを用いて、著者らは、あり得ない組み合わせが、特許や論文の著者に与えられる顕著な引用数や主要な賞の受賞可能性の最大50％を予測している。多くのブレークスルーは、遠く離れた分野同士が互いの問題を解決することで生じている。

ABSTRACT

Breakthrough discoveries and inventions involve unexpected combinations of contents including problems, methods, and natural entities, and also diverse contexts such as journals, subfields, and conferences. Drawing on data from tens of millions of research papers, patents, and researchers, we construct models that predict next year's content and context combinations with an AUC of 95% based on embeddings constructed from high-dimensional stochastic block models, where the improbability of new combinations itself predicts up to 50% of the likelihood that they will gain outsized citations and major awards. Most of these breakthroughs occur when problems in one field are unexpectedly solved by researchers from a distant other. These findings demonstrate the critical role of surprise in advance, and enable evaluation of scientific institutions ranging from education and peer review to awards in supporting it.

研究の動機と目的

• 驚き（内容と文脈のあり得ない組み合わせ）が科学的・技術的ブレークスルーをどのように駆動するかを調査すること。
• 研究分野を越えて内容-文脈の組み合わせのあり得なさを定量化することで、将来のブレークスルーの可能性をモデル化すること。
• 驚きの能力に基づいて、研究機関がそのような予期せぬ高インパactsな組み合わせを促進できるかどうかを評価すること。
• 高インパクトの研究やイノベーションを生む分野間連携のパターンを特定すること。
• 科学文献と特許の大量データを用いた予測フレームワークを構築すること。

提案手法

• 数千万件の研究論文、特許、研究者データから高次元確率的ブロックモデルを構築し、内容と文脈を捉えた埋め込みを生成した。
• これらの埋め込みを用いて、来年の内容-文脈の組み合わせを予測し、受信者操作特性曲線（AUC）が95％に達した。
• 「驚き」を、モデルの予測に基づく特定の内容-文脈の組み合わせが発生する確率の逆数として定義した。
• あり得ない組み合わせと引用数、主要な賞との相関関係を測定することで、驚きとインパクトの関係を評価した。
• ある分野の問題が、遠く離れた分野の研究者によって予期せず解決された場合に、分野間問題解決を追跡した。
• 驚きの予測力の有効性を検証し、主要な賞受賞や引用数の急増といった高インパクトの結果を予測できるかをテストした。

実験結果

リサーチクエスチョン

• RQ1 内容-文脈の組み合わせのあり得なさが、科学的ブレークスルーをどの程度予測できるか？
• RQ2 遠く離れた分野の研究者が他の分野の問題を解決する場合、ブレークスルーはどの程度の頻度で発生するか？
• RQ3 驚き（予期せぬ組み合わせ）は定量化可能であり、高インパクトの研究結果を予測するために使用可能か？
• RQ4 分野を越えたつながりは、高インパクトのイノベーションを生む上でどのような役割を果たすか？
• RQ5 従来の指標と比較して、驚きに基づくモデルは、将来の引用数や賞の受賞をどの程度うまく予測できるか？

主な発見

• モデルは、来年の内容-文脈の組み合わせを、受信者操作特性曲線（AUC）95％で予測し、強い予測能力を示した。
• 内容-文脈の組み合わせのあり得なさが、論文や特許が顕著な引用数や主要な賞を受賞する可能性の最大50％を予測した。
• 多くのブレークスルーは、ある分野の問題が、関係のない遠く離れた分野の研究者によって予期せず解決された場合に発生した。
• 組み合わせの確率の逆数として測定された驚きは、標準的な指標を上回る高インパクトの結果を予測する有意な要因であった。
• 本研究では、とくに遠く離れた分野同士の分野を越えたつながりが、変革的イノベーションを生み出す上で極めて重要であることが明らかになった。
• 科学的機関は、そのような予期せぬ高インパクトな組み合わせを支援・促進できる能力に基づいて評価可能である。