[논문 리뷰] Hop-Hop Relation-aware Graph Neural Networks

Li Zhang, Yan Ge외 1명|arXiv (Cornell University)|2020. 12. 21.

Advanced Graph Neural Networks참고 문헌 45인용 수 4

한 줄 요약

이 논문은 지식 그래프 임베딩을 사용하여 관계 점수를 통해 개인화되고 힙(_hop)_aware인 수신 영역를 학습하는 통합 프레임워크인 힙-힙 관계 인식 그래프 신경망(HHR-GNN)을 제안한다. 학습된 관계 점수를 활용한 힙-aware 투영 및 집계를 통해 HHR-GNN은 기존 방법에 비해 대규모 이질적 그래프에서 최신 기술 수준의 정확도를 달성하고, 에포크당 훈련 속도를 최대 13,000배 빠르게 한다.

ABSTRACT

Graph Neural Networks (GNNs) are widely used in graph representation learning. However, most GNN methods are designed for either homogeneous or heterogeneous graphs. In this paper, we propose a new model, Hop-Hop Relation-aware Graph Neural Network (HHR-GNN), to unify representation learning for these two types of graphs. HHR-GNN learns a personalized receptive field for each node by leveraging knowledge graph embedding to learn relation scores between the central node's representations at different hops. In neighborhood aggregation, our model simultaneously allows for hop-aware projection and aggregation. This mechanism enables the central node to learn a hop-wise neighborhood mixing that can be applied to both homogeneous and heterogeneous graphs. Experimental results on five benchmarks show the competitive performance of our model compared to state-of-the-art GNNs, e.g., up to 13K faster in terms of time cost per training epoch on large heterogeneous graphs.

연구 동기 및 목표

• 기존 GNN에서 고정된 수신 영역의 한계를 해결하여, 동질적 및 이질적 그래프에서 다양한 노드 연결 패턴에 적응하지 못하는 문제를 해결한다.
• 특히 이질적 그래프에서 서로 다른 힙과 노드 유형이 중심 노드에 대해 서로 다른 관련성을 가지는 바에 불구하고, 모든 이웃을 동일하게 취급하는 이웃 집계의 문제를 해결한다.
• 지식 그래프 임베딩 기법을 활용해 동적이고 개인화된 수신 영역를 학습함으로써 효율적이고 해석 가능한 표현 학습을 가능하게 한다.
• 힙-aware 투영 및 집계를 지원하는 단일 프레임워크 내에서 동질적 및 이질적 그래프 간의 표현 학습을 통합한다.
• 경량 신경 텐서 네트워크를 활용해 중심 노드와 다단계 이웃 간의 관계 점수를 계산함으로써 모델의 효율성과 해석 가능성을 향상시킨다.

제안 방법

• 중앙 노드와 그 다단계 이웃 간의 관계 점수를 계산하기 위해 그래프 신경망과 지식 그래프 임베딩(KGE)을 결합한 새로운 GNN 아키텍처를 도입한다.
• 중앙 노드와 각 힙의 표현 간의 관계 점수(예: α₀₁, α₀₂)를 계산하기 위해 신경 텐서 네트워크(NTN)를 사용하여 소프트하고 개인화된 집계를 가능하게 한다.
• 각 힙의 이웃 임베딩에 대해 별도의 가중치 행렬을 사용함으로써 힙-aware 투영을 적용하여, 힙 거리에 따라 다른 특징 공간 매핑을 가능하게 한다.
• 학습된 관계 점수를 기반으로 다단계 이웃 표현을 가중치 집계한 후, 중심 노드의 임베딩과 연결하여 최종 표현을 구성한다.
• 다른 노드 유형과 힙 거리를 서로 다른 관계 유형으로 간주함으로써, 동일한 아키텍처가 동질적 및 이질적 그래프를 모두 처리할 수 있도록 통합 프레임워크를 설계한다.
• 특히 노드 유형 수가 제한된 대규모 그래프에서 계산 효율성을 확보하기 위해 저차원 GNN 임베딩을 NTN 모듈의 입력으로 활용한다.

실험 결과

연구 질문

• RQ1 학습된 개인화된 수신 영역를 통해 각 노드에 맞게 조정된 프레임워크가 동질적 및 이질적 그래프를 효과적으로 처리할 수 있는가?
• RQ2 다른 힙의 이웃이 중심 노드에 대해 다르게 관련성이 있을 때, 힙-aware 투영 및 집계는 표현 학습에 어떻게 기여하는가?
• RQ3 지식 그래프 임베딩에서 유도된 학습된 관계 점수는 노드 분류 성능 향상과 함께 모델의 해석 가능성에 얼마나 기여하는가?
• RQ4 복잡한 이웃 구조를 가진 대규모 이질적 그래프에서 기존 GNN에 비해 제안된 방법이 더 높은 효율성을 달성하는가?
• RQ5 모델이 동적으로 어떤 힙 또는 노드 유형이 노드 표현에 가장 기여하는지 식별할 수 있는가? 이를 통해 예측의 해석 가능성을 높일 수 있는가?

주요 결과

• HHR-GNN은 노드 분류에서 경쟁력 있는 성능을 달성하여, IMDB 데이터셋에서 기존 최고 수준의 모델인 GTN과 HAN에 비해 최대 9.3% 높은 성능을 기록했다.
• 대규모 이질적 그래프에서 HHR-GNN은 기존 방법 대비 에포크당 훈련 시간을 최대 13,000배 감소시켜 놀라운 효율성을 입증했다.
• 관계 점수를 통해 개인화된 수신 영역를 학습하며, 한 단계 이웃가 항상 두 단계 이웃보다 더 높은 점수를 받는 것으로 확인되어 그들의 더 강한 관련성을 뒷받침한다.
• 해석 가능성 향상: 학습된 관계 점수의 시각화 결과, 노드가 특정 이웃 유형(예: IMDB에서 영화 vs. 감독)을 선호하는 경향을 보이며 실제 세계의 관계를 반영한다.
• 경량 NTN 기반의 관계 점수 학습 방식을 활용해 계산 효율성을 확보하였으며, 특히 노드 유형 수가 적은 그래프에서 높은 정확도를 유지한다.
• HHR-GNN은 이질적 그래프에서 GCN보다 정확도가 높게 나타나, 단순한 이웃 집계 방식이 복잡한 그래프 구조에서는 부족하다는 점을 입증한다.