[论文解读] Boost then Convolve: Gradient Boosting Meets Graph Neural Networks

Sergei Ivanov, Liudmila Prokhorenkova|arXiv (Cornell University)|May 3, 2021

Advanced Graph Neural Networks参考文献 36被引用 5

一句话总结

该论文提出了一种联合训练框架BGNN，将梯度提升决策树（GBDT）与图神经网络（GNNs）相结合，以提升在具有异质性表格节点特征的图上的图表示学习性能。通过让GBDT迭代拟合来自GNN更新的梯度，该模型充分利用了GBDT在处理表格数据方面的优势以及GNN在捕捉图结构方面的能力，在多个基准数据集上实现了最先进（SOTA）的性能表现。

ABSTRACT

Graph neural networks (GNNs) are powerful models that have been successful in various graph representation learning tasks. Whereas gradient boosted decision trees (GBDT) often outperform other machine learning methods when faced with heterogeneous tabular data. But what approach should be used for graphs with tabular node features? Previous GNN models have mostly focused on networks with homogeneous sparse features and, as we show, are suboptimal in the heterogeneous setting. In this work, we propose a novel architecture that trains GBDT and GNN jointly to get the best of both worlds: the GBDT model deals with heterogeneous features, while GNN accounts for the graph structure. Our model benefits from end-to-end optimization by allowing new trees to fit the gradient updates of GNN. With an extensive experimental comparison to the leading GBDT and GNN models, we demonstrate a significant increase in performance on a variety of graphs with tabular features. The code is available: https://github.com/nd7141/bgnn.

研究动机与目标

• 解决现有GNN在具有异质性、表格型节点特征的图上表现不佳的问题，这类特征在现实世界数据中非常常见。
• 克服先前GNN主要处理稀疏、同质性特征的局限性，无法充分利用表格数据的表征能力。
• 通过联合优化，发挥GBDT在异质性表格数据上的优势与GNN在图结构数据上的优势，实现互补。
• 开发一种统一的训练范式，其中GBDT树在GNN预测的残差梯度上逐步训练，实现端到端学习。

提出的方法

• 提出一种新颖的架构——先提升再卷积（Boost then Convolve, BGNN），交替进行GBDT在GNN预测残差上的训练，以及利用GBDT预测的梯度更新GNN。
• 使用梯度提升方法，通过拟合GNN损失相对于其预测的负梯度，迭代优化节点表示。
• 将GBDT的输出作为节点特征集成到GNN层中，使GNN能够在统一的消息传递框架中同时关注结构信息与表格信息。
• 通过将GNN损失的梯度反向传播经过GBDT预测，实现GBDT与GNN的端到端优化。
• 应用可微分的GNN层，聚合邻居消息并整合GBDT生成的特征，以更新节点表示。
• 以联合方式训练模型：首先在当前GNN的预测误差上训练GBDT，然后将新的GBDT预测作为输入特征更新GNN。

实验结果

研究问题

• RQ1 在具有异质性表格节点特征的图学习任务中，将GBDT与GNNs联合训练是否能提升性能？
• RQ2 所提出的联合训练机制（即GBDT拟合来自GNN更新的梯度）与标准GNN或独立的GBDT模型相比表现如何？
• RQ3 GBDT与GNNs的端到端优化是否能提升在具有混合特征类型的现实世界图上的泛化能力与表征学习能力？
• RQ4 在具有表格特征的多样化图数据集上，该方法相较于最先进GNN与GBDT基线模型的性能提升程度如何？

主要发现

• 所提出的BGNN模型在多个具有异质性表格特征的基准数据集上实现了最先进性能，显著优于独立的GBDT与标准GNN模型。
• GBDT与GNNs的联合训练带来了稳定的性能提升，证明了利用GBDT处理表格特征、GNN处理图结构的有效性。
• 端到端训练方案（即新树在GNN损失的梯度上训练）相比顺序或独立训练，能实现更优的表征学习效果。
• 该模型在多种图类型与特征分布下均表现出鲁棒性，证实其在真实世界异质性数据上的泛化能力。
• 消融实验表明，联合训练机制对性能至关重要，当GBDT与GNNs独立训练时性能出现显著下降。
• 代码库已公开发布于 https://github.com/nd7141/bgnn，便于复现与进一步研究。