[论文解读] Graph Self-Supervised Learning for Optoelectronic Properties of Organic Semiconductors

Zaixi Zhang, Qi Liu+4 more|arXiv (Cornell University)|Dec 2, 2021

Machine Learning in Materials Science被引用 4

一句话总结

本文提出一种图自监督学习（SSL）框架，以提升图神经网络（GNNs）在预测有机半导体光电性能方面的表现，利用无标签分子数据进行预训练。该方法在仅有限标注数据的情况下，显著提升了性能——均绝对误差最高降低22%，适用于平衡态基态和非平衡态激发态性质的预测。

ABSTRACT

The search for new high-performance organic semiconducting molecules is challenging due to the vastness of the chemical space, machine learning methods, particularly deep learning models like graph neural networks (GNNs), have shown promising potential to address such challenge. However, practical applications of GNNs for chemistry are often limited by the availability of labelled data. Meanwhile, unlabelled molecular data is abundant and could potentially be utilized to alleviate the scarcity issue of labelled data. Here, we advocate the use of self-supervised learning to improve the performance of GNNs by pre-training them with unlabeled molecular data. We investigate regression problems involving ground and excited state properties, both relevant for optoelectronic properties of organic semiconductors. Additionally, we extend the self-supervised learning strategy to molecules in non-equilibrium configurations which are important for studying the effects of disorder. In all cases, we obtain considerable performance improvement over results without pre-training, in particular when labelled training data is limited, and such improvement is attributed to the capability of self-supervised learning in identifying structural similarity among unlabeled molecules.

研究动机与目标

• 解决在训练GNNs预测有机半导体（OSCs）光电性能时标注数据有限的挑战。
• 利用数据库和模拟中丰富的无标签分子数据，通过自监督学习（SSL）对GNNs进行预训练。
• 将SSL扩展至非平衡分子构型，以模拟无序对电子性质的影响。
• 提升在标注数据稀缺时对基态和激发态性质的预测准确性。
• 证明预训练GNNs在不同光电性能预测任务间的可迁移性。

提出的方法

• 使用对比自监督学习目标，在大规模无标签分子数据上预训练GNN，以学习结构不变性。
• 对平衡分子构型使用SMILES字符串作为输入，并在非平衡构型中引入3D原子坐标。
• 对于非平衡构型，在SchNet的径向基函数（RBF）层后对原子间距离特征向量进行掩码，并训练模型进行重建。
• 在特定任务的标注数据上微调预训练GNN，以回归光电性能（如激发态能量和跃迁偶极矩）。
• 采用SchNet作为基础GNN架构，以处理3D分子几何结构并学习空间感知表征。
• 利用t-SNE可视化确认，在学习到的嵌入空间中结构相似的分子聚集在一起，表明有效捕捉了分子拓扑结构。

实验结果

研究问题

• RQ1 当标注数据有限时，GNNs的自监督预训练是否能提升对有机半导体光电性能的预测准确性？
• RQ2 SSL预训练在预测非平衡构型下分子激发态性质时，对GNNs性能有何影响？
• RQ3 SSL预训练带来的性能提升在多大程度上依赖于标注训练数据的数量？
• RQ4 即使没有显式标签，SSL能否有效捕捉分子间的结构相似性？
• RQ5 在SSL预训练中引入3D分子坐标，是否能增强模型预测构型依赖性电子性质的能力？

主要发现

• 当仅有1,000个标注样本时，自监督预训练使激发态能量预测的均绝对误差（MAE）降低约22%，从1.81 eV降至1.42 eV。
• 随着标注数据量增加，SSL预训练带来的性能增益逐渐减弱，在超过4,000个标注样本后几乎可忽略不计。
• 对于更具挑战性的跃迁偶极矩大小预测，SSL在所有标注数据量（1,000至5,000个样本）下均提供16%至20%的一致性改进。
• t-SNE可视化证实，结构相似的分子在学习到的嵌入空间中聚集在一起，表明预训练过程中有效捕捉了分子拓扑信息。
• 预训练GNNs在不同任务间具有良好的泛化能力，仅需少量标注数据即可通过微调实现多种光电性能预测。
• 该方法成功将SSL扩展至非平衡构型，利用3D分子动力学数据实现了对无序效应影响电子性质的准确建模。