[论文解读] Making Graph Neural Networks Worth It for Low-Data Molecular Machine Learning

Aneesh Pappu, Brooks Paige|arXiv (Cornell University)|Nov 24, 2020

Machine Learning in Materials Science参考文献 21被引用 12

一句话总结

该论文表明，通过采用元学习技术（如MAML和FO-MAML），图神经网络（GNNs）在低数据量的分子机器学习中可超越传统的指纹方法。作者证明，尽管标准GNN在小样本设置下表现不佳，但基于MAML的微调能显著提升性能，尤其在分布外任务上；而ANIL则因缺乏足够的任务特定适应能力及分布偏移问题而表现较差。

ABSTRACT

Graph neural networks have become very popular for machine learning on molecules due to the expressive power of their learnt representations. However, molecular machine learning is a classically low-data regime and it isn't clear that graph neural networks can avoid overfitting in low-resource settings. In contrast, fingerprint methods are the traditional standard for low-data environments due to their reduced number of parameters and manually engineered features. In this work, we investigate whether graph neural networks are competitive in small data settings compared to the parametrically 'cheaper' alternative of fingerprint methods. When we find that they are not, we explore pretraining and the meta-learning method MAML (and variants FO-MAML and ANIL) for improving graph neural network performance by transfer learning from related tasks. We find that MAML and FO-MAML do enable the graph neural network to outperform models based on fingerprints, providing a path to using graph neural networks even in settings with severely restricted data availability. In contrast to previous work, we find ANIL performs worse that other meta-learning approaches in this molecule setting. Our results suggest two reasons: molecular machine learning tasks may require significant task-specific adaptation, and distribution shifts in test tasks relative to train tasks may contribute to worse ANIL performance.

研究动机与目标

• 评估图神经网络（GNNs）在低数据量分子机器学习设置下是否能超越传统的指纹方法。
• 研究标准GNN在小样本设置下的局限性，其中过拟合是一个主要问题。
• 探讨通过迁移学习，预训练和元学习方法（如MAML、FO-MAML和ANIL）是否能提升GNN的性能。
• 理解为何ANIL在分子性质预测中表现不佳，尽管其在其他少样本学习任务中表现成功。
• 分析内循环微调和特征复用在分子GNN中的作用，通过层表示的典型相关性（CCA）相似性进行分析。

提出的方法

• 作者在ChEMBL20数据集上，将Chemprop（一种消息传递GNN）与基于ECFP4指纹的模型进行比较，覆盖不同数据量阈值。
• 通过MAML和FO-MAML应用元学习，以优化模型初始化，使其能通过少量样本快速适应新分子任务。
• ANIL被用作基线元学习方法，仅更新最终分类头，而保持GNN主干固定。
• 通过典型相关性分析（CCA）评估特征复用，测量内循环微调前后层表示之间的相似性。
• 在分布内和分布外分子任务上进行实验，以评估在分布偏移下的泛化能力。
• 通过在多个分子性质预测任务上进行五折交叉验证，使用AUROC和AUPRC评估性能。

实验结果

研究问题

• RQ1 图神经网络能否在低数据量分子机器学习中超越基于指纹的模型？
• RQ2 通过MAML和FO-MAML进行元学习是否能提升小样本设置下标准GNN的性能，从而缓解过拟合问题？
• RQ3 为何ANIL在分子性质预测中表现不如MAML和FO-MAML？
• RQ4 在分子GNN的少样本学习中，内循环微调在多大程度上是必要的？
• RQ5 元训练与测试任务之间的分布偏移在多大程度上影响ANIL等元学习方法的性能？

主要发现

• MAML和FO-MAML显著提升了GNN性能，在低数据量设置下超越了指纹基线和预训练方法。
• 当数据量低于1024个样本时，Chemprop（GNN）的表现劣于ECFP4指纹基线，但当数据量超过1024个样本时，其表现超越了基线。
• ANIL的表现劣于MAML和FO-MAML，在分布外任务上的平均AUPRC为0.483，而FO-MAML为0.593。
• CCA分析显示，GNN主干和第一层前馈层的层表示在内循环微调后发生显著变化，表明特征复用能力有限。
• ANIL表现不佳的原因在于任务特定适应不足，以及测试任务中分布偏移导致的负迁移。
• MAML和FO-MAML在所有任务上的平均排名最佳（1.43），而ANIL排名最差（2.37），证实其在该分子设置下的无效性。