[논문 리뷰] GBK-GNN: Gated Bi-Kernel Graph Neural Networks for Modeling Both Homophily and Heterophily

Lun Du, Xiaozhou Shi외 5명|arXiv (Cornell University)|2021. 10. 29.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 그래프 내에서 동시적으로 동질성과 이질성을 모델링할 수 있도록 게이트된 비커널 메커니즘을 사용하는 새로운 그래프 신경망인 GBK-GNN을 제안한다. 유사한 노드 쌍과 비유사한 노드 쌍을 위한 별도의 커널을 학습하고, 적절한 커널을 동적으로 선택하는 선택 게이트를 통해 GBK-GNN은 동질성과 이질성이 혼합된 성질을 가진 데이터셋에서 최신 기술(SOTA) GNN보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Graph Neural Networks (GNNs) are widely used on a variety of graph-based machine learning tasks. For node-level tasks, GNNs have strong power to model the homophily property of graphs (i.e., connected nodes are more similar) while their ability to capture the heterophily property is often doubtful. This is partially caused by the design of the feature transformation with the same kernel for the nodes in the same hop and the followed aggregation operator. One kernel cannot model the similarity and the dissimilarity (i.e., the positive and negative correlation) between node features simultaneously even though we use attention mechanisms like Graph Attention Network (GAT), since the weight calculated by attention is always a positive value. In this paper, we propose a novel GNN model based on a bi-kernel feature transformation and a selection gate. Two kernels capture homophily and heterophily information respectively, and the gate is introduced to select which kernel we should use for the given node pairs. We conduct extensive experiments on various datasets with different homophily-heterophily properties. The experimental results show consistent and significant improvements against state-of-the-art GNN methods.

연구 동기 및 목표

• 지역 하위그래프에서 이웃 레이블 패턴이 일관되지 않은 경우, 기존 GNN 모델이 동질성과 이질성을 동시에 모델링하는 데에 한계를 보이는 문제를 해결한다.
• 표준 GNN 모델인 GCN가 모든 이웃에 대해 동일한 커널을 적용하기 때문에, 동질성 수준이 혼합된 노드에서는 성능이 떨어짐을 규명한다.
• 노드 쌍 간의 유사성에 따라 동질성 최적화 커널과 이질성 최적화 커널 간에 적응적으로 전환할 수 있는 모델을 제안한다.
• 동질성이 균일하게 분포하지 않은 그래프에서, 특히 동질적 및 이질적 그래프 모두에 대해 노드 분류 성능을 향상시킨다.
• 선택 게이트가 완벽하게 정확하지 않더라도 성능 향상이 달성됨을 보여주어 게이트 예측 오류에 대한 강건성을 향상시킨다.

제안 방법

• 동질적 노드 쌍(유사한 레이블)을 위한 최적화된 커널과 이질적 노드 쌍(비유사한 레이블)을 위한 최적화된 커널을 각각 갖는 이중 커널 특성 변환 메커니즘을 도입한다.
• 노드 쌍의 특성 유사성과 레이블 유사성에 기반해 동질성 또는 이질성일 확률을 계산하는 학습 가능한 선택 게이트를 설계한다.
• 메시지 전파 과정에서 게이트를 활용해 적절한 커널에 동적으로 주목함으로써, 각 이웃 쌍에 대해 적응형 집계를 가능하게 한다.
• 최종 노드 표현을 두 개의 커널 변환된 이웃 특성의 가중합으로 정의하며, 가중치는 게이트에 의해 결정된다.
• 노드 분류를 위한 교차 엔트로피 손실을 사용해 모델을 엔드 투 엔드로 훈련하며, 커널과 선택 게이트를 함께 최적화한다.
• 훈련 안정성 향상과 다양한 그래프 구조에서의 일반화 능력 향상을 위해 잔차 연결과 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 로컬 이웃에서 노드 수준의 동질성 비율이 크게 변하는 그래프에서, GNN 모델이 동질성과 이질성을 효과적으로 학습할 수 있는가?
• RQ2 혼합된 동질성-이질성 패턴을 가진 그래프에서, 표준 GNN이 모든 이웃 쌍에 동일한 커널을 사용하는 것에 비해 게이트된 비커널 메커니즘이 성능을 뛰어넘는가?
• RQ3 특히 높은 이질성 특성을 가진 그래프에서, 선택 게이트의 예측 정확도가 떨어지더라도 GBK-GNN의 성능은 얼마나 강건한가?
• RQ4 제안된 방법은 동질적 그래프와 이질적 그래프를 포함한 다양한 그래프 유형으로 일반화 가능한가?
• RQ5 실제 그래프에서 흔히 발생하는 특성의 누락 또는 노이즈가 있는 경우, 모델은 성능 향상을 유지하는가?

주요 결과

• GBK-GNN는 동질성-이질성 성질이 다양하게 나타나는 다양한 데이터셋에서 최신 기술(SOTA) GNN보다 일관되고 뚜렷한 성능 향상을 달성한다.
• Cora 데이터셋에서 GBK-GNN는 GCN 및 기타 SOTA 모델을 능가하며, 특히 GCN 성능이 급격히 하락하는 혼합 동질성 수준을 가진 노드(NHR 20–80%)에서 두드러진 성능 향상을 보였다.
• 높은 이질성으로 알려진 Texas 및 Cornell 데이터셋에서는, GBK-GNN가 모든 기준 모델보다 더 높은 노드 분류 정확도를 달성했으며, 이는 이러한 그래프에서 게이트 정확도가 낮음에도 불구하고 성립한다.
• 선택 게이트는 의미 있는 패턴을 학습한다: 동질적 그래프에서는 높은 정확도를, 이질적 그래프에서는 중간에서 높은 정확도를 기록하여 동질성과 이질성 쌍을 효과적으로 구분함을 시사한다.
• 모델의 성능는 게이트 예측 오류에 강건하다. 게이트가 완벽하게 정확하지 않더라도, 두 커널 간 상호보완성 덕분에 전체 분류 정확도가 향상된다.
• 제거 실험(ablation study) 결과, 이중 커널 설계와 선택 게이트 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능 저하가 심각하게 발생한다.