[论文解读] How Much Chemistry Does a Deep Neural Network Need to Know to Make Accurate Predictions?

Garrett B. Goh, Charles Siegel+3 more|arXiv (Cornell University)|Oct 5, 2017

Computational Drug Discovery Methods被引用 5

一句话总结

本论文表明，通过在输入图像中仅加入三种基本化学特征（原子类型、杂化态和形式电荷），而无需修改网络架构，一种深度神经网络（具体为Chemception的增强版本——AugChemception）即可在预测化学性质（如毒性、活性和溶剂化自由能）方面实现更优的准确性。该模型的性能与既有的化学知识一致，表明实现高精度预测并不需要复杂的领域专业知识。

ABSTRACT

The meteoric rise of deep learning models in computer vision research, having achieved human-level accuracy in image recognition tasks is firm evidence of the impact of representation learning of deep neural networks. In the chemistry domain, recent advances have also led to the development of similar CNN models, such as Chemception, that is trained to predict chemical properties using images of molecular drawings. In this work, we investigate the effects of systematically removing and adding localized domain-specific information to the image channels of the training data. By augmenting images with only 3 additional basic information, and without introducing any architectural changes, we demonstrate that an augmented Chemception (AugChemception) outperforms the original model in the prediction of toxicity, activity, and solvation free energy. Then, by altering the information content in the images, and examining the resulting model's performance, we also identify two distinct learning patterns in predicting toxicity/activity as compared to solvation free energy. These patterns suggest that Chemception is learning about its tasks in the manner that is consistent with established knowledge. Thus, our work demonstrates that advanced chemical knowledge is not a pre-requisite for deep learning models to accurately predict complex chemical properties.

研究动机与目标

• 探究深度神经网络在预测复杂化学性质时是否需要广泛的化学知识。
• 评估将领域特定信息注入基于图像的分子表征的影响。
• 确定模型性能是否与既有的化学原理相关。
• 识别预测不同类型化学性质时的差异性学习模式。

提出的方法

• 在分子图像输入中加入三种基本化学特征：原子类型、杂化态和形式电荷。
• 在这些增强图像上训练卷积神经网络（Chemception），且不修改网络架构。
• 系统性地移除和添加局部化学信息，以评估其对模型性能的影响。
• 在三个任务中比较预测准确性：毒性、活性和溶剂化自由能。
• 分析模型行为，识别与化学知识一致的学习模式。
• 在所有实验中使用相同的模型架构，以隔离输入信息的影响。

实验结果

研究问题

• RQ1 向分子图像中添加最少的化学信息，如何影响深度学习模型在预测化学性质方面的性能？
• RQ2 在增强图像上训练的模型是否表现出与既有的化学原理一致的学习模式？
• RQ3 模型在预测毒性/活性与溶剂化自由能时，是否存在不同的学习机制？
• RQ4 是否无需在模型架构中引入深层化学知识，也能实现高精度预测？
• RQ5 在输入中包含基本化学特征是否能提升在多样化化学任务中的泛化能力？

主要发现

• 仅在图像输入中加入三种额外化学特征的AugChemception模型，在预测毒性、活性和溶剂化自由能方面优于原始的Chemception模型。
• 性能提升完全不依赖于架构修改，凸显了输入表征的重要性。
• 两种截然不同的学习模式浮现：一种用于毒性/活性预测，另一种用于溶剂化自由能预测，暗示其背后存在不同的作用机制。
• 模型中观察到的学习模式与既有的化学知识一致，表明网络正在学习有意义且与化学相关的表征。
• 结果表明，高级化学知识并非实现高精度预测的必要条件，即使仅在输入中加入极少的化学信息，也能显著提升性能。