[论文解读] Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity

Ryan Henderson, Djork-Arné Clevert+1 more|arXiv (Cornell University)|May 11, 2021

Machine Learning in Materials Science被引用 12

一句话总结

本文提出两种正则化技术——批量表示正交化（BRO）和基尼正则化——以提升分子图神经网络（GNN）的可解释性。BRO 在训练过程中强制节点嵌入保持正交性，而基尼正则化则通过稀疏化输出层权重，生成更集中、更具化学合理性的归因图。人类专家显著偏好经过正则化模型生成的解释，尤其在溶解度和 logD 预测任务中表现更优。

ABSTRACT

Rationalizing which parts of a molecule drive the predictions of a molecular graph convolutional neural network (GCNN) can be difficult. To help, we propose two simple regularization techniques to apply during the training of GCNNs: Batch Representation Orthonormalization (BRO) and Gini regularization. BRO, inspired by molecular orbital theory, encourages graph convolution operations to generate orthonormal node embeddings. Gini regularization is applied to the weights of the output layer and constrains the number of dimensions the model can use to make predictions. We show that Gini and BRO regularization can improve the accuracy of state-of-the-art GCNN attribution methods on artificial benchmark datasets. In a real-world setting, we demonstrate that medicinal chemists significantly prefer explanations extracted from regularized models. While we only study these regularizers in the context of GCNNs, both can be applied to other types of neural networks

研究动机与目标

• 为解决分子图神经网络预测结果解释性不足的问题，通过提升归因图的清晰度与合理性来改进解释质量。
• 减少因 GNN 中节点表示相关或密集导致的解释混淆。
• 开发正则化技术，促进学习表示的稀疏性与正交性，同时不损害预测性能。
• 评估正则化模型是否在真实场景中更受药物化学家青睐。
• 证明通过简单且可泛化的训练阶段正则化，可实现可解释性的提升。

提出的方法

• 批量表示正交化（BRO）通过正则化损失强制批量内节点嵌入保持正交性，其灵感来源于原子轨道线性组合（LCAO）理论。
• BRO 损失通过 Frobenius 范数最小化节点表示的 Gram 矩阵与单位矩阵之间的偏差。
• 基尼正则化应用于输出层权重，以促进稀疏性，使模型依赖更少维度进行预测。
• 在训练过程中最小化输出层权重的基尼系数，以鼓励少数主导特征并抑制冗余特征。
• 两种正则化方法均在 PyTorch Geometric 中实现，与现有 GNN 架构（包括多任务模型）兼容。
• 方法在人工基准和真实世界的理化性质预测任务上进行了评估，并辅以专家偏好调查。

实验结果

研究问题

• RQ1 在分子 GNN 中强制节点表示正交性是否能提升归因图的质量？
• RQ2 在输出层权重中促进稀疏性是否能带来更可解释且更集中的预测？
• RQ3 这些正则化方法是否提升了 SOTA 归因方法在基准数据集上的表现？
• RQ4 药物化学家是否更偏好由采用 BRO 和基尼正则化的模型生成的归因图，而非基线模型？
• RQ5 这些正则化在多大程度上影响了真实世界分子性质预测任务中的预测性能？

主要发现

• 药物化学家显著偏好采用 BRO 和基尼正则化的模型生成的归因图，尤其在溶解度和 logD 预测任务中，logD 的变异系数达到 0.95。
• 专家偏好在 logD 等更易被化学家合理解释的预测任务中最为显著，而熔点等更复杂的任务则表现出更高程度的分歧。
• 在人工基准上，基尼与 BRO 正则化提升了多种归因方法的 AUROC，表明其能更准确识别相关原子贡献。
• 在真实任务中，预测性能出现轻微下降，其中 LOP 溶解度任务的 R² 最大降幅为 0.47 降至 0.34（两种正则化同时使用），但可通过超参数调优恢复。
• BRO 正则化在所有任务中均轻微降低性能，包括苯环分类任务中近乎完美的分类表现，表明可解释性与准确率之间存在权衡。
• BRO 与基尼正则化的结合使表示更解耦且更局部化，从而生成更清晰、更具化学直觉的解释。