[论文解读] Beyond Citations: Measuring Novel Scientific Ideas and their Impact in Publication Text

Sam Arts, Nicola Melluso+1 more|arXiv (Cornell University)|Sep 28, 2023

Biomedical Text Mining and Ontologies被引用 7

一句话总结

本文提出一种基于自然语言处理（NLP）的方法，直接从出版物文本中检测和衡量科学新颖性与影响力，超越引用次数。通过分析诺贝尔奖获奖论文和综述论文，结果表明新颖思想在知识网络中出现得更早，并且在被重用时会吸引更多的引用，验证了该方法识别科学文献中具有影响力的创新成果的能力。

ABSTRACT

New scientific ideas drive progress, yet measuring scientific novelty remains challenging. We use natural language processing to detect the origin and impact of new ideas in scientific publications. To validate our methods, we analyze Nobel Prize-winning papers, which likely pioneered impactful new ideas, and literature review papers, which typically consolidate existing knowledge. We also show that novel papers have more intellectual neighbors published after them, indicating they are ahead of their intellectual peers. Finally, papers introducing new ideas, particularly those with greater follow-on reuse, attract more citations.

研究动机与目标

• 开发一种直接从出版物文本中测量科学新颖性与影响力的独立于引用次数的方法。
• 通过诺贝尔奖获奖论文（预期代表高影响力的新颖思想）验证该方法。
• 将新颖论文与综述论文（整合现有知识）进行对比，以评估该方法的敏感性。
• 检查引入新颖思想的论文是否拥有更多后续发表的“思想后继者”，以表明其具有前瞻性创新。
• 研究思想重用与引用累积之间的关系，作为衡量长期影响力的标准。

提出的方法

• 作者使用自然语言处理（NLP）技术，识别并追踪学术出版物全文中新兴科学思想的出现。
• 采用基于嵌入的技术建模思想的语义表征，并检测其在出版物中的首次出现。
• 通过测量文本中的语义相似性，识别“思想邻居”——即随后基于同一思想展开的论文。
• 通过检测相对于其思想语境而言，在某篇论文中首次出现的思想，来评估新颖性。
• 通过后续出版物中思想重用的语义相似性，量化思想的影响力。
• 通过比较诺贝尔奖获奖论文（预期为新颖）和综述论文（预期为整合性）的结果，对方法进行验证。

实验结果

研究问题

• RQ1 如何直接从出版物文本中测量科学新颖性，而无需依赖引用次数？
• RQ2 引入新颖思想的论文是否更可能拥有更多在之后发表的“思想后继者”，表明其领先于同领域同行？
• RQ3 在引入新思想的论文中，思想重用与引用累积之间是否存在可测量的关系？
• RQ4 基于NLP的思想起源与影响力检测方法，能否有效区分诺贝尔奖获奖论文与综述论文？
• RQ5 特别是对于高重用度的新颖思想，其在多大程度上能随时间吸引更多引用？

主要发现

• 引入新颖思想的论文更有可能拥有更多在之后发表的“思想邻居”，表明其在思想上领先于同侪。
• 正如预期，诺贝尔奖获奖论文显示出强烈的新颖性信号和思想的早期出现，验证了该方法的敏感性。
• 综述论文表现出较低的新颖性得分和更少的后续思想关联，证实了该方法能够有效区分新颖性与整合性作品。
• 思想重用程度更高的论文吸引了显著更多的引用，表明思想重用是长期影响力的强大预测指标。
• 该方法通过检测思想在其思想语境中首次出现在某篇出版物中的时间，成功识别出新颖思想。
• 该模型的性能在不同类型论文中保持一致，包括高影响力论文和综述文献，结果稳定可靠。