[论文解读] Learning Graph While Training: An Evolving Graph Convolutional Neural Network

Ruoyu Li, Junzhou Huang|arXiv (Cornell University)|Aug 10, 2017

Machine Learning in Materials Science参考文献 24被引用 9

一句话总结

本文提出一种动态演化图卷积网络（EGCN），通过监督度量学习在训练过程中动态学习图结构，实现对任意形状图结构数据的端到端学习。通过重参数化特征维度并学习残差图拉普拉斯矩阵，EGCN在分子和药理学数据集上实现了更高的预测精度和更快的收敛速度，相较于最先进方法，在基准数据集上的RMSE降低最高达40%。

ABSTRACT

Convolution Neural Networks on Graphs are important generalization and extension of classical CNNs. While previous works generally assumed that the graph structures of samples are regular with unified dimensions, in many applications, they are highly diverse or even not well defined. Under some circumstances, e.g. chemical molecular data, clustering or coarsening for simplifying the graphs is hard to be justified chemically. In this paper, we propose a more general and flexible graph convolution network (EGCN) fed by batch of arbitrarily shaped data together with their evolving graph Laplacians trained in supervised fashion. Extensive experiments have been conducted to demonstrate the superior performance in terms of both the acceleration of parameter fitting and the significantly improved prediction accuracy on multiple graph-structured datasets.

研究动机与目标

• 为解决现有图卷积神经网络中固定预定义图结构的局限性，该局限性限制了在多样化或不规则图输入上的端到端学习。
• 使图卷积神经网络能够在训练过程中学习最优的、与任务相关的图结构，而非依赖静态或无监督的图构建方法。
• 开发一种谱图卷积层，通过度量学习支持可学习的自适应图拉普拉斯矩阵，实现k跳卷积。
• 设计一个统一框架，处理批量输入的任意形状图结构数据，并实现动态、样本特定的图结构构建。
• 展示演化图结构在提升真实世界分子和多任务药理学数据集预测性能方面的优越性。

提出的方法

• 提出一种由残差拉普拉斯学习增强的谱图卷积层（SGC-LL），其中图拉普拉斯矩阵通过学习的马氏距离度量按样本动态更新。
• 在特征域引入重参数化，以支持k跳谱卷积，使图CNN具备与经典CNN在网格数据上相似的特征提取能力。
• 采用参数复杂度为O(d²)或O(dm)的监督度量学习，与图大小N无关，从而降低计算成本，同时支持端到端训练。
• 采用残差学习方案，学习最能支持下游预测任务的图结构，而非依赖预定义或无监督的图构建方法。
• 设计一种演化图卷积网络（EGCN），可接收任意形状图输入的批量数据，并以联合监督方式学习图结构和模型参数。
• 利用反向传播联合优化图拉普拉斯矩阵和网络权重，使图结构能根据预测误差动态演化。

实验结果

研究问题

• RQ1 图卷积神经网络是否能在训练过程中学习最优的、与任务相关的图结构，而非依赖固定或预计算的图？
• RQ2 如何使谱图卷积适应在动态演化、大小可变的图上实现k跳卷积？
• RQ3 监督度量学习是否能降低图结构学习的计算复杂度，同时提升预测性能？
• RQ4 在训练过程中动态学习图拉普拉斯矩阵是否能带来比静态或无监督图构建更好的泛化能力和更快的收敛速度？
• RQ5 演化图结构在多大程度上能提升分子和多任务药理学预测任务的性能？

主要发现

• 在Delaney数据集上，EGCN相比最先进模型将平均RMSE降低了31%至40%，显著提升了回归性能。
• 在Az-logD数据集上，EGCN相比现有方法平均RMSE降低15%，表明其在溶解度预测任务中具有更优的表征学习能力。
• 在NCI数据集上，EGCN相比基线模型将测试RMSE降低了2%至4%，显示出在多样化分子任务中的一致性优势。
• 在Tox21和Toxcast数据集上，EGCN在Toxcast（617个任务）上的任务平均ROC-AUC得分最高提升5%，凸显其强大的多任务泛化能力。
• SGC-LL层将训练损失降低了30%，且收敛更快，表明演化图结构可加速参数拟合。
• 该方法在所有基准测试中均优于G-CNN、GCN和NFP，证实了联合学习图结构与模型参数的有效性。