[論文レビュー] Boost then Convolve: Gradient Boosting Meets Graph Neural Networks

Sergei Ivanov, Liudmila Prokhorenkova|arXiv (Cornell University)|May 3, 2021

Advanced Graph Neural Networks参考文献 36被引用数 5

ひとこと要約

本稿では、異種の表形式ノード特徴量を有するグラフにおけるグラフ表現学習を向上させるために、勾配ブースティング決定木（GBDT）とグラフニューラルネットワーク（GNN）を統合する共同学習フレームワークBGNNを提案する。GBDTがGNNの更新からの勾配を繰り返し適合させることで、表形式データの処理におけるGBDTの強みと、グラフ構造の捉え方におけるGNNの能力を活かし、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

Graph neural networks (GNNs) are powerful models that have been successful in various graph representation learning tasks. Whereas gradient boosted decision trees (GBDT) often outperform other machine learning methods when faced with heterogeneous tabular data. But what approach should be used for graphs with tabular node features? Previous GNN models have mostly focused on networks with homogeneous sparse features and, as we show, are suboptimal in the heterogeneous setting. In this work, we propose a novel architecture that trains GBDT and GNN jointly to get the best of both worlds: the GBDT model deals with heterogeneous features, while GNN accounts for the graph structure. Our model benefits from end-to-end optimization by allowing new trees to fit the gradient updates of GNN. With an extensive experimental comparison to the leading GBDT and GNN models, we demonstrate a significant increase in performance on a variety of graphs with tabular features. The code is available: https://github.com/nd7141/bgnn.

研究の動機と目的

• 現実のデータで一般的に見られる異種の表形式ノード特徴量を有するグラフにおいて、従来のGNNが示す劣悪な性能を是正すること。
• 主にスパarsityで均質な特徴量にのみ対応する従来のGNNの限界を克服し、表形式データの表現力の活用を図ること。
• GBDTの異種表形式データに対する有効性と、GNNのグラフ構造データに対する有効性を補完的に活かすために、両者の強みを共同最適化によって統合すること。
• GNNの予測からの残差勾配に逐次的に学習するGBDTの木を用いる統一的学習パラダイムを構築し、エンドツーエンドの学習を可能にすること。

提案手法

• GNNの予測誤差の残差にGBDTを学習させ、GNNの予測勾配に基づいてGBDTの予測を用いてGNNを更新するという、交互に学習を繰り返す「ブーストして畳み込む（Boost then Convolve）」という新規アーキテクチャBGNNを提案する。
• GNNの損失関数に対する予測の負の勾配に新たな木を適合させることで、勾配ブースティングを用いて繰り返しノード表現を精緻化する。
• GBDTの出力をGNN層のノード特徴量として統合し、統一されたメッセージパッシングフレームワーク内で構造的および表形式の情報を両方とも考慮できるようにする。
• GBDTの予測からGNNの損失への勾配をバックプロパゲートすることで、木アンサンブルの更新を可能にするエンドツーエンド最適化を実現する。
• 隣接ノードからのメッセージを集約し、GBDTから得られる特徴量を組み込む微分可能GNN層を適用し、ノード表現を更新する。
• 共同学習の形でモデルを訓練する：まず、現在のGNNの予測誤差に基づいてGBDTを学習し、次にGBDTの新しい予測を入力特徴量として用いてGNNを更新する。

実験結果

リサーチクエスチョン

• RQ1 GBDTとGNNを共同学習フレームワークで統合することで、異種の表形式ノード特徴量を有するグラフ表現学習タスクの性能が向上するか？
• RQ2 GNNの更新からの勾配にGBDTが適合するという、提案された共同学習メカニズムは、標準のGNNや独立したGBDTモデルと比べてどのように性能を発揮するか？
• RQ3 GBDTとGNNをエンドツーエンドで最適化することで、混合特徴タイプを有する現実のグラフにおいて、より良い一般化性能と表現学習が達成されるか？
• RQ4 提案手法は、表形式特徴を有する多様なグラフデータセットにおいて、最先端のGNNおよびGBDTベースラインをどの程度上回るか？

主な発見

• 提案されたBGNNモデルは、異種の表形式特徴量を有する複数のベンチマークデータセットで最先端の性能を達成し、独立したGBDTおよび標準のGNNモデルを著しく上回る。
• GBDTとGNNの共同学習は一貫した性能向上をもたらし、表形式特徴量にGBDTを活用し、グラフ構造にGNNを活用する有効性を実証している。
• GNNの損失の勾配に新しい木を学習させるエンドツーエンドの学習方式は、逐次的または独立した学習よりも優れた表現学習を実現している。
• 本モデルは多様なグラフタイプや特徴分布に対して頑健であることが確認され、現実の異種データにおける一般化能力を裏付けている。
• アブレーションスタディの結果、共同学習メカニズムが性能に不可欠であることが確認され、GBDTとGNNを独立して学習した場合に顕著な性能低下が生じた。
• コードベースは https://github.com/nd7141/bgnn で公開されており、再現性およびさらなる研究を促進している。