[논문 리뷰] Node Similarity Preserving Graph Convolutional Networks

Wei Jin, Tyler Derr외 4명|arXiv (Cornell University)|2020. 11. 19.

Advanced Graph Neural Networks참고 문헌 47인용 수 13

한 줄 요약

이 논문은 유사도를 유지하기 위해 메시지 전파 중에 그래프 구조와 노드 특징 간의 적응형 균형을 학습 가능한 어텐션과 자기지도 학습을 통해 달성하는 SimP-GCN를 제안한다. 다양한 그래프, 특히 이질적인 그래프에서 기존 모델들을 능가하며, 메시지 전파 중 유사도 파괴를 줄이고, 저도수 및 적대적 변형된 노드에서의 성능을 향상시킨다.

ABSTRACT

Graph Neural Networks (GNNs) have achieved tremendous success in various real-world applications due to their strong ability in graph representation learning. GNNs explore the graph structure and node features by aggregating and transforming information within node neighborhoods. However, through theoretical and empirical analysis, we reveal that the aggregation process of GNNs tends to destroy node similarity in the original feature space. There are many scenarios where node similarity plays a crucial role. Thus, it has motivated the proposed framework SimP-GCN that can effectively and efficiently preserve node similarity while exploiting graph structure. Specifically, to balance information from graph structure and node features, we propose a feature similarity preserving aggregation which adaptively integrates graph structure and node features. Furthermore, we employ self-supervised learning to explicitly capture the complex feature similarity and dissimilarity relations between nodes. We validate the effectiveness of SimP-GCN on seven benchmark datasets including three assortative and four disassorative graphs. The results demonstrate that SimP-GCN outperforms representative baselines. Further probe shows various advantages of the proposed framework. The implementation of SimP-GCN is available at \url{https://github.com/ChandlerBang/SimP-GCN}.

연구 동기 및 목표

• 표준 GCN가 메시지 전파 과정에서 노드 유사도를 파괴하는 문제를 해결하기 위해, 특히 이질적 또는 적대적으로 변형된 그래프에서 그러한 문제가 심화되는 것을 방지한다.
• 집약 과정에서 데이터 기반으로 적응적으로 그래프 구조와 노드 특징 정보를 균형 잡는다.
• 자기지도 학습을 통해 복잡한 쌍별 노드 유사도 관계를 명시적으로 모델링한다.
• 저도수 노드에서의 성능을 향상시키고, 깊은 GCN에서의 과도한 스무딩 현상을 완화한다.
• 구조적 인덕티브 바이어스를 활용하면서도 원래의 특징 공간 유사도를 유지하는 프레임워크를 개발한다.

제안 방법

• 학습 가능한 파rameter를 사용하여 원래의 그래프 인접행렬과 특징 기반 유사도 그래프를 적응적으로 융합하는 유사도 유지 집약 기법을 도입한다.
• 은닉 표현에서 쌍별 노드 특징 유사도를 예측하는 자기지도 사전 과제를 활용하여, 명시적으로 유사도 관계를 인코딩한다.
• 학습 가능한 자기순환 행렬과 점수 벡터를 사용하여 각 노드의 구조와 특징 기여도를 동적으로 조정한다.
• 구조적 정보와 특징 기반 이웃 정보를 유연하고 미분 가능하게 통합하는 수정된 전파 행렬을 제안한다.
• 두 단계로 구성된 훈련 과정을 적용한다: 자기지도 유사도 예측을 통한 사전 훈련 후, 최종 작업에 대한 미세조정.
• 교차 엔트로피 손실과 대비 손실을 조합하여 엔드 투 엔드로 모델을 훈련하며, 유사도 유지에 기여한다.

Figure 1. An overall framework of the proposed SimP-GCN.

실험 결과

연구 질문

• RQ1 표준 GCN 집약 과정은 원래 특징 공간의 노드 유사도를 본질적으로 파괴하는가?
• RQ2 구조적 정보와 특징 기반 이웃 정보를 적응적으로 균형 잡는 그래프 컨볼루션 메커니즘을 설계할 수 있는가?
• RQ3 자기지도 학습이 복잡한 쌍별 노드 유사도 관계를 효과적으로 포착하고 유지할 수 있는가?
• RQ4 구조적 정보가 신뢰할 수 없는 이질적 그래프에서 SimP-GCN의 성능은 어떠한가?
• RQ5 학습 가능한 구성 요소(점수 벡터 및 자기순환 행렬)가 성능 향상에 얼마나 기여하는가?

주요 결과

• 이질적 그래프인 Actor 데이터셋에서 SimP-GCN는 GCN 대비 은닉 그래프와 원본 그래프 간의 오버랩을 약 10% 향상시켰다.
• 이질적 그래프에서 SimP-GCN는 은닉 그래프와 원본 그래프 간 오버랩 백분율을 감소시켜 원래 특징 유사도의 더 나은 유지가 이루어졌음을 시사한다.
• Corn. 데이터셋에서 SimP-GCN는 테스트 정확도 84.05%를 기록하여 GCN의 52.70%를 크게 능가했다.
• 제거 실험 결과, 자기지도 학습 구성 요소와 학습 가능한 대각 블록 행렬 모두 성능 향상에 기여하며, 특히 자기지도 학습이 가장 큰 기여를 했다.
• 학습된 점수 벡터와 자기순환 행렬은 노드별로 다름을 보이며, 적응적인 행동을 보였다—특히 이질적 그래프에서는 더 높은 자기순환 가중치를 가지며 특징에 더 의존함을 나타낸다.
• Cora와 같은 이질적 그래프에서는 모델이 특징 그래프에 더 의존하는 반면, Wisconsin과 같은 이질적 그래프에서는 더 강한 자기순환을 사용하여 동적 적응을 반영한다.

(a) Cora