[논문 리뷰] SDGNN: Learning Node Representation for Signed Directed Networks

Junjie Huang, Huawei Shen외 2명|arXiv (Cornell University)|2021. 01. 07.

Advanced Graph Neural Networks참고 문헌 36인용 수 7

한 줄 요약

이 논문은 사회학 이론인 균형 이론과 지위 이론을 메시지 전파 프레임워크에 통합함으로써 서명된 방향성 네트워크에서 노드 표현을 학습하는 새로운 그래프 신경망 모델인 SDGNN을 제안한다. 이 모델은 링크의 부호, 방향성, 서명된 방향성 삼각형을 동시에 재구성하여, 다섯 개인 실세계 데이터셋에서 링크 부호 예측 작업에서 최신 기술보다 뛰어난 성능을 보였다.

ABSTRACT

Network embedding is aimed at mapping nodes in a network into low-dimensional vector representations. Graph Neural Networks (GNNs) have received widespread attention and lead to state-of-the-art performance in learning node representations. However, most GNNs only work in unsigned networks, where only positive links exist. It is not trivial to transfer these models to signed directed networks, which are widely observed in the real world yet less studied. In this paper, we first review two fundamental sociological theories (i.e., status theory and balance theory) and conduct empirical studies on real-world datasets to analyze the social mechanism in signed directed networks. Guided by related sociological theories, we propose a novel Signed Directed Graph Neural Networks model named SDGNN to learn node embeddings for signed directed networks. The proposed model simultaneously reconstructs link signs, link directions, and signed directed triangles. We validate our model's effectiveness on five real-world datasets, which are commonly used as the benchmark for signed network embedding. Experiments demonstrate the proposed model outperforms existing models, including feature-based methods, network embedding methods, and several GNN methods.

연구 동기 및 목표

• 기존 GNN 모델들이 주로 무기호 네트워크를 다루며 서명된 방향성 네트워크를 효과적으로 모델링하지 못하는 데서 비롯된 격차를 보완하기 위해.
• 서명된 방향성 네트워크의 구조를 형성하는 데 기여하는 사회학 이론—균형 이론과 지위 이론의 역할을 탐구하기 위해.
• 링크의 부호, 방향성, 서명된 방향성 삼각형을 동시에 재구성함으로써 노드 표현 학습 성능을 향상시키는 GNN 모델을 설계하기 위해.
• 제안된 모델의 효과성을 실세계 서명된 방향성 네트워크 기준에서 검증하기 위해.

제안 방법

• 모델은 균형 이론과 지위 이론에서 유도된 네 가지의 서로 다른 서명된 방향성 관계를 기반으로 메시지를 집계하는 단계별 서명된 방향성 관계 GNN을 도입한다.
• 다중 헤드 어텐션 집계기를 사용하여 이웃 노드의 기여도를 동적으로 가중함으로써 표현 학습을 향상시킨다.
• 손실 함수는 세 가지 목적을 통합한다: 부호 재구성, 방향성 재구성, 서명된 방향성 삼각형 재구성이며, 기여도를 조절하기 위한 학습 가능한 하이퍼파rameter를 포함한다.
• 학습된 노드 임베딩에서 원래 네트워크 구조를 재구성하기 위해 그래프 오토에인코더 프레임워크를 사용한다.
• 고차 구조적 의존성을 포착하기 위해 다층 아키텍처를 적용한다.
• 학습 과정은 확률적 경사 하강법을 사용하여 병합된 손실을 최적화하며, 임베딩 차원과 에포크 수에 대한 하이퍼파ram터 튜닝을 실시한다.

실험 결과

연구 질문

• RQ1 균형 이론과 지위 이론은 실세계 서명된 방향성 네트워크의 구조적 패턴을 어떻게 설명하는가?
• RQ2 사회학 이론을 명시적으로 통합한 GNN 모델이 기존 방법보다 서명된 방향성 네트워크의 노드 표현 학습에서 뛰어난 성능을 내는가?
• RQ3 링크의 부호, 방향성, 서명된 방향성 삼각형이 노드 표현 학습 성능에 기여하는 상대적 기여도는 어떠한가?
• RQ4 집계기 유형과 GNN 레이어 수와 같은 아키텍처 선택이 모델 성능에 어떻게 영향을 미치는가?

주요 결과

• SDGNN은 다섯 개의 실세계 서명된 네트워크 데이터셋에서 기능 기반, 네트워크 임베딩, GNN 기반의 모든 베이스라인 모델보다 링크 부호 예측 작업에서 뛰어난 성능을 보였다.
• d=5와 같은 낮은 임베딩 차원에서도 뛰어난 성능을 달성하여 강건성과 효율성을 입증했다.
• 제거 실험 결과, 부호, 방향성, 삼각형을 동시에 재구성하는 것이 단독으로 부호 재구성만 수행하는 것보다 더 나은 성능을 내며, 방향성과 삼각형 구조를 모델링하는 것이 중요하다는 것을 확인했다.
• 어텐션 기반 집계기가 평균 집계기보다 일관되게 뛰어난 성능을 보이며, 적응형 이웃 가중치가 표현 품질을 향상시킨다는 것을 시사한다.
• 모델는 빠르게 수렴하며 안정적인 성능을 유지하며, 약 100 에포크에서 최적 성능을 기록했다.
• GNN 레이어 수를 늘릴수록 고차 구조적 정보를 더 잘 포착함으로써 성능 향상이 이루어져, 단계별 설계의 타당성을 입증했다.