[논문 리뷰] Tree Decomposed Graph Neural Network

Yu Wang, Tyler Derr|arXiv (Cornell University)|2021. 08. 25.

Advanced Graph Neural Networks참고 문헌 44인용 수 4

한 줄 요약

이 논문은 트리 분해를 통해 다층 이웃 정보를 분리함으로써 다양한 층 간 특성 스무딩을 완화하는 새로운 GNN 아키텍처인 트리 분해 그래프 신경망(TDGNN)을 제안한다. 트리 구조 내에서 그래프 확산을 통해 다단계 의존성을 모델링함으로써 TDGNN은 더 깊고 더 민첩한 표현 학습을 가능하게 하며, 여러 노드 분류 벤치마크에서 동질성 및 이질성 네트워크 모두에서 최신 기술(SOTA) 성능을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved significant success in learning better representations by performing feature propagation and transformation iteratively to leverage neighborhood information. Nevertheless, iterative propagation restricts the information of higher-layer neighborhoods to be transported through and fused with the lower-layer neighborhoods', which unavoidably results in feature smoothing between neighborhoods in different layers and can thus compromise the performance, especially on heterophily networks. Furthermore, most deep GNNs only recognize the importance of higher-layer neighborhoods while yet to fully explore the importance of multi-hop dependency within the context of different layer neighborhoods in learning better representations. In this work, we first theoretically analyze the feature smoothing between neighborhoods in different layers and empirically demonstrate the variance of the homophily level across neighborhoods at different layers. Motivated by these analyses, we further propose a tree decomposition method to disentangle neighborhoods in different layers to alleviate feature smoothing among these layers. Moreover, we characterize the multi-hop dependency via graph diffusion within our tree decomposition formulation to construct Tree Decomposed Graph Neural Network (TDGNN), which can flexibly incorporate information from large receptive fields and aggregate this information utilizing the multi-hop dependency. Comprehensive experiments demonstrate the superior performance of TDGNN on both homophily and heterophily networks under a variety of node classification settings. Extensive parameter analysis highlights the ability of TDGNN to prevent over-smoothing and incorporate features from shallow layers with deeper multi-hop dependencies, which provides new insights towards deeper graph neural networks. Code of TDGNN: http://github.com/YuWVandy/TDGNN

연구 동기 및 목표

• 다양한 층 간 반복적인 특성 전파로 인해 발생하는 깊은 GNN의 과도한 스무딩 문제를 해결하기 위해.
• 특성 스무딩이 이웃 영역 간의 성능 저하를 야기하는 문제를 분석하고 완화하기 위해—특히 이질성 그래프에서 그러한 영향이 크므로.
• 노드 표현 학습에서 다단계 의존성의 중요성과 그 그래프 확산과의 연관성을 탐색하기 위해.
• 이웃 집합의 집합을 층 간에 분리하고 선택적이고 깊이 최적화된 정보 융합을 가능하게 하는 민첩하고 깊은 GNN 아키텍처를 설계하기 위해.
• 다양한 실제 그래프, 특히 도전적인 이질성 네트워크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 다른 층의 이웃을 분리하기 위해 트리 분해 방법을 제안하여 각 층의 수신 영역을 독립적으로 처리할 수 있도록 한다.
• 트리 분해 프레임워크 내에서 그래프 확산을 사용해 다단계 의존성을 모델링함으로써 장거리 구조적 정보를 유지한다.
• 두 가지 변형을 도입한다: 단일 경로인 TDGNN-s와 넓은 경로인 TDGNN-w로, 다양한 층의 표현을 민첩하게 융합할 수 있도록 한다.
• 특성 변환과 전파를 분리한 분리형 아키텍처를 적용하여 엔트레인먼트에 기인한 스무딩을 감소시킨다.
• 개인화된 PageRank 기반 확산을 사용해 노드 중요도를 계산하고 트리 구조 경로를 따라 정보를 전파한다.
• 얕은 층과 깊은 층의 표현을 적응형 융합하여 특성의 풍부함을 향상시키되 과도한 스무딩은 피한다.

실험 결과

연구 질문

• RQ1 다른 층의 이웃 간 특성 스무딩이 GNN 성능에 미치는 영향은 무엇이며, 특히 이질성 그래프에서 어떻게 나타나는가?
• RQ2 트리 분해가 깊은 GNN에서 층 간 특성 스무딩을 어느 정도 감소시킬 수 있는가?
• RQ3 다단계 의존성이 노드 표현 학습 향상에 어떤 역할을 하는가? 그리고 이를 효과적으로 모델링할 수 있는 방법은 무엇인가?
• RQ4 트리 기반 분해 프레임워크는 더 민첩하고 깊은 GNN 아키텍처를 가능하게 하고 기존 최신 기술(SOTA) 모델을 능가할 수 있는가?
• RQ5 트리 분해 내에서 그래프 확산을 통합함으로써 다양한 그래프 유형에서 표현 학습이 어떻게 향상되는가?

주요 결과

• TDGNN은 여러 노드 분류 벤치마크에서 동질성 및 이질성 네트워크 모두에서 GCNII와 DAGNN을 포함한 최신 기술(SOTA) 기반 모델들을 뛰어넘는 성능을 보였다.
• 학술 논문 네트워크(Cora, Citeseer, PubMed)와 이질성 데이터셋(Photo, Computers from Amazon, Reddit)에서 최신 기술(SOTA) 성능을 달성하여 다양한 그래프 유형에 대한 강건성을 입증했다.
• 광범위한 아블레이션 연구를 통해 트리 분해가 층 간 특성 스무딩을 효과적으로 감소시켜 분류 가능한 정보를 유지함을 확인했다.
• 그래프 확산을 통한 다단계 의존성 통합이 깊은 아키텍처에서 성능 향상에 기여함을 확인하여 이론적·실험적 중요성을 입증했다.
• 넓은 경로를 가지는 TDGNN-w는 이질성 데이터셋에서 더 큰 성능 향상을 보이며, 더 넓은 다층 정보 융합의 이점이 있음을 시사한다.
• 파라미터 분석 결과, 표준 GNN이 2~3층 이후 성능이 저하되는 것과 달리, TDGNN은 깊이가 증가해도 과도한 스무딩을 유지하는 것으로 나타났다.