[논문 리뷰] Boost then Convolve: Gradient Boosting Meets Graph Neural Networks

Sergei Ivanov, Liudmila Prokhorenkova|arXiv (Cornell University)|2021. 05. 03.

Advanced Graph Neural Networks참고 문헌 36인용 수 5

한 줄 요약

이 논문은 이질적인 표본형 노드 특징을 가진 그래프에서 그래프 표현 학습을 향상시키기 위해 기울기 부스팅 결정 트리(GBDT)와 그래프 신경망(GNN)을 결합하는 공동 학습 프레임워크 BGNN을 제안한다. GBDT가 GNN 업데이트에서 유도하는 기울기를 반복적으로 적합함으로써, 모델은 표본형 데이터 처리 능력과 그래프 구조를 포착하는 능력을 각각 활용하여 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Graph neural networks (GNNs) are powerful models that have been successful in various graph representation learning tasks. Whereas gradient boosted decision trees (GBDT) often outperform other machine learning methods when faced with heterogeneous tabular data. But what approach should be used for graphs with tabular node features? Previous GNN models have mostly focused on networks with homogeneous sparse features and, as we show, are suboptimal in the heterogeneous setting. In this work, we propose a novel architecture that trains GBDT and GNN jointly to get the best of both worlds: the GBDT model deals with heterogeneous features, while GNN accounts for the graph structure. Our model benefits from end-to-end optimization by allowing new trees to fit the gradient updates of GNN. With an extensive experimental comparison to the leading GBDT and GNN models, we demonstrate a significant increase in performance on a variety of graphs with tabular features. The code is available: https://github.com/nd7141/bgnn.

연구 동기 및 목표

• 실제 데이터에서 흔한 이질적이고 표본형 노드 특징을 가진 그래프에서 기존 GNN의 열등한 성능를 해결하기 위해.
• 주로 희박하고 동질적인 특징을 다루는 데 특화된 기존 GNN의 한계를 극복하여 표본형 데이터의 표현력을 효과적으로 활용하지 못하는 문제를 해결하기 위해.
• GBDT가 이질적 표본형 데이터에서 효과적인 점을 활용하고, GNN이 그래프 구조 데이터에서 효과적인 점을 활용하는 데서 유래하는 상호보완적 강점을 공동 최적화를 통해 발휘하기 위해.
• GBDT 트리가 GNN 예측의 잔차 기울기에 기반하여 점진적으로 훈련되는 통합된 훈련 철학을 개발하기 위해.

제안 방법

• GBDT가 GNN 예측의 잔차에 대해 훈련되고, GNN이 GBDT 예측의 기울기를 기반으로 업데이트되는 방식으로 번갈아가며 작동하는 새로운 아키텍처인 Boost then Convolve(BGNN)를 제안한다.
• GBDT를 사용해 GNN의 손실 함수에 대한 예측의 음수 기울기에 새로운 트리를 적합시킴으로써 반복적으로 노드 표현을 정밀화한다.
• GBDT 출력 결과를 GNN 레이어의 노드 특징으로 통합함으로써, 메시지 전파 프레임워크 내에서 구조적 정보와 표본형 정보를 동시에 고려할 수 있도록 한다.
• GBDT 예측 결과를 통해 GNN 손실 함수의 기울기를 역전파하여 트리 앙상블를 업데이트함으로써 엔드 투 엔드 최적화를 가능하게 한다.
• 이웃 노드로부터 메시지를 집계하고, GBDT에서 유도된 특징을 통합하는 미분 가능한 GNN 레이어를 적용하여 노드 표현을 갱신한다.
• 모델을 공동으로 훈련함: 먼저 현재 GNN의 예측 오차에 대해 GBDT를 훈련하고, 그 다음에 GBDT의 새로운 예측 결과를 입력 특징으로 사용해 GNN을 업데이트한다.

실험 결과

연구 질문

• RQ1 GBDT와 GNN을 공동 학습 프레임워크에 통합하면 이질적 표본형 노드 특징을 가진 그래프 학습 과제에서 성능 향상을 이끌 수 있는가?
• RQ2 GBDT가 GNN 업데이트에서 기울기를 적합하는 공동 학습 메커니즘이 표준 GNN 또는 독립적인 GBDT 모델과 비교해 어떻게 성능을 높이는가?
• RQ3 GBDT와 GNN의 엔드 투 엔드 최적화가 혼합된 특징 유형을 가진 실제 그래프에서 일반화 능력과 표현 학습 능력을 향상시키는가?
• RQ4 제안된 방법이 다양한 그래프 데이터셋에서 표본형 특징을 가진 최신 기술 수준의 GNN 및 GBDT 기반 모델을 얼마나 뛰어나게 성능을 높이는가?

주요 결과

• 제안된 BGNN 모델은 이질적 표본형 특징을 가진 여러 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하며, 독립적인 GBDT 및 표준 GNN 모델보다 뚜렷이 뛰어난 성능을 보였다.
• GBDT와 GNN의 공동 학습은 일관된 성능 향상을 이끌어내어, 표본형 특징에 대해 GBDT를 활용하고, 그래프 구조에 대해 GNN을 활용하는 것이 효과적임을 입증했다.
• GNN의 손실 기울기에 기반해 새로운 트리를 훈련하는 엔드 투 엔드 학습 체계는 순차적 또는 독립적 학습보다 더 나은 표현 학습 능력을 보였다.
• 모델은 다양한 그래프 유형과 특징 분포에 대해 뛰어난 강건성을 보이며, 실제 이질적 데이터에서의 일반화 능력을 확인했다.
• 제거 실험 결과, 공동 학습 메커니즘이 성능에 결정적인 영향을 미치며, GBDT와 GNN을 별도로 훈련할 경우 성능 저하가 뚜렷하게 발생함을 확인했다.
• 코드베이스는 https://github.com/nd7141/bgnn 에 공개되어 있어 재현성과 향후 연구를 촉진한다.