[논문 리뷰] DyGCN: Dynamic Graph Embedding with Graph Convolutional Network

Zeyu Cui, Zekun Li외 5명|arXiv (Cornell University)|2021. 04. 07.

Advanced Graph Neural Networks참고 문헌 48인용 수 10

한 줄 요약

이 논문은 동적 그래프에서 노드 임베딩을 효율적으로 업데이트하기 위해 계층적이고 순서 기반으로 변화를 그래프 전파 방식으로 처리하는 동적 그래프 컨볼루션 네트워크인 DyGCN을 제안한다. 영향도 순서로 업데이트를 수행함으로써, 직접 영향을 받는 노드부터 시작하여 외부로 변화를 전파함으로써, 각 시간 단계에서 정적 GCN 모델을 재학습하는 것에 비해 상당한 속도 향상을 달성하면서도 동적 그래프 벤치마크에서 높은 성능을 유지한다.

ABSTRACT

Graph embedding, aiming to learn low-dimensional representations (aka. embeddings) of nodes, has received significant attention recently. Recent years have witnessed a surge of efforts made on static graphs, among which Graph Convolutional Network (GCN) has emerged as an effective class of models. However, these methods mainly focus on the static graph embedding. In this work, we propose an efficient dynamic graph embedding approach, Dynamic Graph Convolutional Network (DyGCN), which is an extension of GCN-based methods. We naturally generalizes the embedding propagation scheme of GCN to dynamic setting in an efficient manner, which is to propagate the change along the graph to update node embeddings. The most affected nodes are first updated, and then their changes are propagated to the further nodes and leads to their update. Extensive experiments conducted on various dynamic graphs demonstrate that our model can update the node embeddings in a time-saving and performance-preserving way.

연구 동기 및 목표

• 동적 그래프에서 각 시간 단계마다 정적 GCN 모델을 재학습하는 데서 기인하는 비효율성을 해결한다.
• 시간이 지남에 따라 그래프가 변화함에 따라 노드 임베딩을 점진적으로 업데이트할 수 있는 확장 가능한 방법을 개발한다.
• 계산 비용을 최소화하면서도 임베딩 품질을 유지하는 동적 그래프 환경에서의 성능을 확보한다.
• 구조적인 변화 전파를 통해 GCN 임베딩 전파 메커니즘을 동적 그래프로 일반화한다.
• 국소적 변화 기반의 점진적 업데이트가 전체 재학습과 비교해 유사한 성능을 달성할 수 있음을 입증한다.

제안 방법

• 영향도 순서로 노드 변화를 처리하는 고차수 업데이트 메커니즘을 제안한다: 1차(직접 영향을 받는), 2차(영향을 받는 노드의 이웃), 등.
• 스펙트럼 전파를 업데이트 전략의 대안으로 도입하여 그래프의 스펙트럼 특성을 활용해 효율적인 임베딩 업데이트를 구현한다.
• 변화가 영향력이 큰 노드에서부터 이웃으로 연쇄적으로 전파되는 재귀적 메시지 전달 방식을 사용한다.
• 시간 단계 간에 공유되는 임베딩 파라미터를 유지하면서, 영향을 받는 노드와 그 이웃들만 다른 가중치 규칙을 사용해 업데이트한다.
• 다중 홉을 넘어서 변화의 영향을 모델링하기 위해 각 전파 순서에 대해 학습 가능한 변환 행렬 $W_k$ 를 적용한다.
• 백프로파게이션을 사용해 엔드 투 엔드로 모델을 훈련하며, 각 시간 단계에서 구조적 및 의미적 정보를 유지하도록 손실 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 전체 재학습 없이도 동적 그래프에서 노드 임베딩을 효율적으로 업데이트할 수 있는가?
• RQ2 영향도 순서로 계층적 변화 전파 방식이 임베딩 품질과 계산 효율성에 미치는 영향는 어떠한가?
• RQ3 고차수 업데이트와 스펙트럼 전파 방식 간의 다른 업데이트 전략이 성능 및 확장성에 미치는 영향는 어떠한가?
• RQ4 다양한 그래프 유형과 업데이트 이벤트에서 영향을 받는 노드 수와 전파 깊이의 변화는 어떻게 나타나는가?
• RQ5 정적 GCN 재학습에 비해 업데이트 시간을 크게 줄였을 때, 다운스트림 작업(예: 노드 분류)에서 높은 성능을 유지할 수 있는가?

주요 결과

• DyGCN는 각 시간 단계에서 정적 GCN 모델을 재학습하는 것에 비해 업데이트 시간을 최대 90%까지 줄였으며, 성능 저하도 최소한이다.
• AS, HEP-TH, Facebook 데이터셋 전반에서 2차 DyGCN가 가장 뛰어난 성능을 보였으며, 1차 및 3차 버전보다 뛰어난 성능을 기록했다.
• AS 데이터셋에서 $d=100$ 인 DyGCN가 가장 높은 성능을 달성했고, 더 높은 차원($d=125$)은 과적합을 유도했다.
• 시각화 결과 $W_1$과 $W_2$는 고가중치의 구조적 패턴을 학습하는 것으로 나타났고, $W_3$와 $W_4$는 낮고 구조가 덜 명확한 가중치를 가지며, 2차까지의 영향력 학습 능력이 한계에 도달함을 시사한다.
• HEP-TH와 같은 밀도가 높은 그래프에서는 2차 업데이트가 2차 노드 간의 임베딩을 더 가깝게 만들지만, AS와 같은 희박한 그래프에서는 효과가 더 국소화되어 나타난다.
• Facebook에서 1차 업데이트에 영향을 받는 노드 수가 평균 1637.69로 가장 높아, 대규모 네트워크에서 간선 추가에 매우 민감한 것으로 나타났다.