[论文解读] A survey on Big Data and Machine Learning for Chemistry

José F. Rodrigues, Larisa Florea+3 more|arXiv (Cornell University)|Apr 23, 2019

Computational Drug Discovery Methods参考文献 12被引用 10

一句话总结

本综述综合了近年来在化学领域中大数据与机器学习（ML）应用的最新进展，重点关注物联网（IoT）背景下材料发现与化学传感。文章概述了未来发展的路线图，识别了关键挑战与局限性，并回顾了化学研究中机器学习成功与失败的案例研究。

ABSTRACT

Herein we review aspects of leading-edge research and innovation in chemistry which exploits big data and machine learning (ML), two computer science fields that combine to yield machine intelligence. ML can accelerate the solution of intricate chemical problems and even solve problems that otherwise would not be tractable. But the potential benefits of ML come at the cost of big data production; that is, the algorithms, in order to learn, demand large volumes of data of various natures and from different sources, from materials properties to sensor data. In the survey, we propose a roadmap for future developments, with emphasis on materials discovery and chemical sensing, and within the context of the Internet of Things (IoT), both prominent research fields for ML in the context of big data. In addition to providing an overview of recent advances, we elaborate upon the conceptual and practical limitations of big data and ML applied to chemistry, outlining processes, discussing pitfalls, and reviewing cases of success and failure.

研究动机与目标

• 提供对整合大数据与机器学习于化学领域的前沿研究的全面综述。
• 识别并分析将大数据与ML应用于化学问题时在概念与实践层面的局限性。
• 提出一个结构化的未来发展方向路线图，以指导在材料发现与化学传感中应用ML与大数据。
• 探讨物联网（IoT）在为化学应用构建数据密集型环境中的作用。
• 评估真实世界中机器学习驱动的化学研究成功与失败案例，以指导最佳实践。

提出的方法

• 对化学物理与机器学习领域近期文献进行系统性综述，重点关注大数据应用。
• 对化学中使用的机器学习技术进行分类，包括监督学习、无监督学习和深度学习方法。
• 分析材料性质、光谱数据以及物联网设备传感器输出等数据来源。
• 将化学领域的专业知识与数据驱动的机器学习模型相结合，以提升可解释性与可靠性。
• 将数据质量、特征工程与模型泛化能力作为机器学习流程中的关键组成部分进行评估。
• 利用案例研究说明成功的与失败的机器学习应用，突出方法论陷阱与最佳实践。

实验结果

研究问题

• RQ1 大数据与机器学习如何加速现代研究中的材料发现与化学传感？
• RQ2 在将机器学习应用于化学数据时，主要挑战与局限性是什么，特别是关于数据质量与模型可解释性方面？
• RQ3 物联网（IoT）在多大程度上促进或限制了化学应用中大数据的生成与使用？
• RQ4 在化学领域中，成功与失败的机器学习应用之间存在哪些关键差异，可以总结出哪些经验教训？
• RQ5 如何建立一个结构化的未来发展方向路线图，以指导大数据与机器学习在化学中的整合？

主要发现

• 机器学习显著加速了复杂化学问题的解决，包括以往被认为难以解决的问题。
• 机器学习在化学中的成功在很大程度上取决于数据的体量、质量和多样性，尤其是来自传感器和材料数据库等异构来源的数据。
• 尽管已取得进展，数据标准化、特征表示以及跨化学领域模型泛化方面仍存在重大挑战。
• 案例研究显示，数据质量差与特征工程不足是化学应用中机器学习失败的常见原因。
• 物联网的集成实现了化学传感的实时数据获取，但同时也带来了数据安全、可扩展性与噪声方面的挑战。
• 提出了一条明确的未来发展路线图，强调化学家、数据科学家与工程师之间的跨学科协作。