[论文解读] Accelerating science with human-aware artificial intelligence

Jamshid Sourati, James Evans|arXiv (Cornell University)|Jun 2, 2023

Cell Image Analysis TechniquesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了一种以人为本的人工智能，通过建模人类专业知识分布来预测未来的科学发现，显著提升了AI性能，方法通过模拟专家的认知可及性推理，结合人类认知约束与专业知识，使在稀疏文献环境下的预测准确率最高提升400%，并生成了常规研究路径难以产生的‘外星式’假设。

ABSTRACT

Artificial intelligence (AI) models trained on published scientific findings have been used to invent valuable materials and targeted therapies, but they typically ignore the human scientists who continually alter the landscape of discovery. Here we show that incorporating the distribution of human expertise by training unsupervised models on simulated inferences cognitively accessible to experts dramatically improves (up to 400%) AI prediction of future discoveries beyond those focused on research content alone, especially when relevant literature is sparse. These models succeed by predicting human predictions and the scientists who will make them. By tuning human-aware AI to avoid the crowd, we can generate scientifically promising "alien" hypotheses unlikely to be imagined or pursued without intervention until the distant future, which hold promise to punctuate scientific advance beyond questions currently pursued. Accelerating human discovery or probing its blind spots, human-aware AI enables us to move toward and beyond the contemporary scientific frontier.

研究动机与目标

• 解决现有AI模型在科学发现中忽略人类认知与专业知识约束的局限性。
• 通过建模人类专业知识分布与认知可及性推理，提升AI对未来科学发现的预测能力。
• 生成在当前研究群体中难以被构思或推进但具有科学潜力的假设。
• 使AI能够探测科学盲点，并推动发现超越当前前沿的进展。

提出的方法

• 在模拟的、对人类专家认知可及的推理上进行无监督模型训练，而非仅依赖研究内容。
• 将人类专业知识分布融入表示学习过程，以反映谁更可能做出何种推理。
• 通过建模专家可能预测的内容，将认知合理性作为科学新颖性的代理指标。
• 调整AI以避免常见的人类预测模式，生成与主流研究轨迹相异的‘外星式’假设。
• 利用稀疏文献场景测试模型在内容仅依赖模型之外的优越性能。
• 通过已知科学发现验证预测结果，并通过人类专家评估来衡量新颖性。

实验结果

研究问题

• RQ1 与仅依赖内容的模型相比，将人类专业知识分布纳入AI模型在预测未来科学发现方面有何提升？
• RQ2 以人为本的AI在多大程度上能生成具有科学潜力但当前研究群体难以采纳的假设？
• RQ3 在低数据或稀疏文献环境下，基于认知可及性推理训练的模型是否能优于标准NLP模型？
• RQ4 如何通过调整AI以避开‘主流群体’的预测模式，产生可能推动科学进展的假设？
• RQ5 以人为本的AI在科学发现任务中的预测准确率上产生了多大的定量影响？

主要发现

• 与仅依赖内容的模型相比，将人类专业知识分布融入AI模型，使未来发现的预测准确率最高提升400%，尤其在稀疏文献环境中表现显著。
• 以人为本的AI模型通过模拟哪些科学家更可能做出何种推理，成功预测了科学发现，其行为与现实中的专家表现高度一致。
• 通过调整模型以避开常见的人类预测模式，生成了‘外星式’假设——科学上合理但被忽视的假设，提示了新的发现路径。
• 该模型在低数据场景中表现出色，而传统AI模型因缺乏训练信号而难以应对。
• 该方法能够识别科学盲点，并通过生成原本可能被忽视数十年的假设，加速科学发现。