[论文解读] Bridging AI and Science: Implications from a Large-Scale Literature Analysis of AI4Science

Yutong Xie, Yijun Pan+2 more|arXiv (Cornell University)|Nov 27, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本文通过大型语言模型（LLMs）对159,295篇文献（2014–2024年）进行大规模、数据驱动的AI4Science文献分析，提取科学问题与AI方法。研究揭示了AI与科学融合中的显著不平衡，识别出跨学科关联的关键缺口，并通过链接预测表明，RAG增强的LLMs能够有效推荐适用于科学问题的AI方法，从而推动更具针对性的跨学科合作。

ABSTRACT

Artificial Intelligence has proven to be a transformative tool for advancing scientific research across a wide range of disciplines. However, a significant gap still exists between AI and scientific communities, limiting the full potential of AI methods in driving broad scientific discovery. Existing efforts in identifying and bridging this gap have often relied on qualitative examination of small samples of literature, offering a limited perspective on the broader AI4Science landscape. In this work, we present a large-scale analysis of the AI4Science literature, starting by using large language models to identify scientific problems and AI methods in publications from top science and AI venues. Leveraging this new dataset, we quantitatively highlight key disparities between AI methods and scientific problems, revealing substantial opportunities for deeper AI integration across scientific disciplines. Furthermore, we explore the potential and challenges of facilitating collaboration between AI and scientific communities through the lens of link prediction. Our findings and tools aim to promote more impactful interdisciplinary collaborations and accelerate scientific discovery through deeper and broader AI integration. Our code and dataset are available at: https://github.com/charles-pyj/Bridging-AI-and-Science.

研究动机与目标

• 为解决AI与科学界之间长期存在的鸿沟，以释放AI在科学发现中全部潜力。
• 提供超越小样本文献定性综述的全面、数据驱动的AI4Science领域概览。
• 识别科学问题与AI方法在不同学科中共同出现的结构性失衡。
• 评估基于LLM的链接预测在提出新颖AI-科学合作方面的可行性与有效性。
• 为未来跨学科AI融合的研究与工具开发，构建一个新颖且平衡的AI4Science数据集。

提出的方法

• 利用大型语言模型（LLMs）从顶级科学与AI领域期刊的出版物中提取科学问题、AI方法及AI使用模式。
• 构建了一个大规模、平衡的AI4Science数据集，包含159,295篇文献、123,773个科学问题和35,522个AI方法。
• 通过降维技术生成问题与方法嵌入的二维投影，可视化分布差异。
• 构建科学问题聚类与AI方法聚类之间的二分图，分析连通性失衡并识别“枢纽”节点。
• 应用检索增强生成（RAG）与LLMs，预测科学问题与AI方法之间缺失的链接。
• 使用ROUGE、BLEURT和余弦相似度指标，在多种模型与少样本设置下评估LLM的链接生成性能。

Figure 1 . Illustration of the AI4Science dataset: (1) LLM-based extraction of scientific problem $p_{i}$ , AI method $m_{i}$ , and AI usage $u_{i}$ from an example publication. (2) 2D projections of the extracted scientific problems $\{p_{i}\}$ and AI methods $\{m_{i}\}$ . Each dot represents a pub

实验结果

研究问题

• RQ1 在过去十年中，AI4Science文献中主导的科学问题与AI方法分别是什么？
• RQ2 AI方法在不同科学领域中的分布如何？其与科学问题的整合中存在哪些差异？
• RQ3 LLMs结合RAG在预测文献中尚未观察到的有意义AI-科学关联方面，其有效性如何？
• RQ4 不同LLM架构与提示策略（如直接提示、模仿学习、RAG）在生成准确且语义相关的AI方法推荐方面表现如何比较？
• RQ5 AI-科学合作网络中存在哪些结构性失衡？这些失衡如何反映尚未充分探索的研究机遇？

主要发现

• AI4Science文献显示，AI方法在科学问题上的分布存在显著失衡，少数AI方法（如深度学习、Transformer）在多个领域中占据主导地位。
• 科学问题节点呈现出高度重尾的度分布，表明仅有少数问题吸引了大部分AI应用，而许多问题仍处于被忽视状态。
• RAG增强的LLMs在链接预测中优于直接提示与模仿学习，使用gpt-3.5-turbo时，Sci→AI链接生成的ROUGE-1-F得分为0.314（@10），余弦相似度达0.900。
• 引入RAG示例显著提升了模型性能，Sci→AI生成的ROUGE-1-F从直接提示的0.263提升至RAG（n=5）的0.290。
• 在研究投入较少的科学问题上，链接预测性能更高（ROUGE-1-F: 0.301 @1），而在研究充分的问题上则为0.284 @1，表明其在发现新型AI应用方面具有潜力。
• 二分图分析揭示了问题空间与方法空间中均存在强枢纽节点，表明某些AI方法（如图神经网络、扩散模型）常被应用于少数特定问题，而许多科学领域仍缺乏充分覆盖。

Figure 2 . The AI-Science bipartite graph and node distributions. (a) The bipartite graph with scientific problem clusters and AI method clusters as nodes. The size of each node corresponds to its unweighted degree, representing the number of AI methods applied to a scientific problem, or the number