[论文解读] Deep Learning for Computational Chemistry

Garrett B. Goh, Nathan O. Hodas+1 more|arXiv (Cornell University)|Jan 17, 2017

Machine Learning in Materials Science参考文献 15被引用 48

一句话总结

本文综述了深度学习在计算化学中的应用，展示了其在QSAR、虚拟筛选、蛋白质结构预测和材料性质预测等多种任务中对传统机器学习方法的优越性。文章强调，得益于GPU加速和大规模化学数据集，深度神经网络在多个领域持续超越以往最先进模型，打破了性能瓶颈。

ABSTRACT

The rise and fall of artificial neural networks is well documented in the scientific literature of both computer science and computational chemistry. Yet almost two decades later, we are now seeing a resurgence of interest in deep learning, a machine learning algorithm based on multilayer neural networks. Within the last few years, we have seen the transformative impact of deep learning in many domains, particularly in speech recognition and computer vision, to the extent that the majority of expert practitioners in those field are now regularly eschewing prior established models in favor of deep learning models. In this review, we provide an introductory overview into the theory of deep neural networks and their unique properties that distinguish them from traditional machine learning algorithms used in cheminformatics. By providing an overview of the variety of emerging applications of deep neural networks, we highlight its ubiquity and broad applicability to a wide range of challenges in the field, including QSAR, virtual screening, protein structure prediction, quantum chemistry, materials design and property prediction. In reviewing the performance of deep neural networks, we observed a consistent outperformance against non-neural networks state-of-the-art models across disparate research topics, and deep neural network based models often exceeded the "glass ceiling" expectations of their respective tasks. Coupled with the maturity of GPU-accelerated computing for training deep neural networks and the exponential growth of chemical data on which to train these networks on, we anticipate that deep learning algorithms will be a valuable tool for computational chemistry.

研究动机与目标

• 提供深度神经网络及其在化学信息学中相对于传统机器学习方法独特优势的全面概述。
• 考察深度学习在计算化学关键挑战中的广泛应用，包括药物发现和材料设计。
• 证明深度学习模型在多种化学预测任务中持续优于非神经网络类最先进模型。
• 强调大规模化学数据和GPU加速训练在推动深度学习在化学领域成功中的作用。
• 将深度学习定位为未来计算化学研究中变革性和不可或缺的工具。

提出的方法

• 本文采用综述性方法，整合多篇研究中应用深度神经网络解决化学问题的成果。
• 聚焦于具有层次化特征学习能力的多层神经网络，实现复杂分子模式的自动提取。
• 核心技术包括前馈网络、卷积神经网络（CNN）和循环神经网络（RNN），并针对分子数据表示进行适配。
• 利用大规模化学数据集进行模型训练，借助GPU加速实现高效优化。
• 综述评估了多种架构和任务中的性能表现，并与非深度学习基准进行对比。
• 强调端到端学习的应用，即直接将原始分子输入（如SMILES、2D/3D结构）映射到目标属性。

实验结果

研究问题

• RQ1 深度神经网络在预测化学性质和活性方面与传统机器学习模型相比如何？
• RQ2 在哪些计算化学任务中，深度学习能持续实现相对于以往最先进方法的性能提升？
• RQ3 大规模化学数据集和GPU加速训练在推动深度学习在化学领域成功中发挥何种作用？
• RQ4 深度学习模型能否突破蛋白质结构预测和材料设计等复杂任务中所谓的‘性能天花板’？
• RQ5 哪些关键的网络架构组件和训练策略使深度学习在分子数据上表现优异？

主要发现

• 深度神经网络在QSAR和虚拟筛选等多样化的计算化学任务中，持续优于非神经网络类最先进模型。
• 在蛋白质结构预测中，深度学习模型超越了以往的性能极限，显著提升了预测精度。
• 在材料性质预测方面，深度学习模型的预测准确率高于传统方法，尤其在处理复杂或高维输入时表现更优。
• 深度学习与大规模化学数据库及GPU计算的结合，实现了比传统方法更快、更准确的预测。
• 本文观察到，深度学习模型常常突破其所在领域内预期的‘性能天花板’，显示出变革性潜力。
• 深度学习在化学领域取得成功的原因在于其能够直接从原始分子输入中学习层次化表征，从而减少对人工设计描述符的依赖。