[논문 리뷰] RiWalk: Fast Structural Node Embedding via Role Identification

Xuewei Ma, Geng Qin외 3명|arXiv (Cornell University)|2019. 10. 15.

Advanced Graph Neural Networks참고 문헌 26인용 수 7

한 줄 요약

RiWalk는 역할 식별과 네트워크 임베딩을 분리하여 구조적 의존성을 유지하는 새로운 프레임워크로, 루트된 커널 구축을 통해 빠른 구조적 노드 임베딩을 가능하게 한다. 기존 기준 대비 최대 10배 빠른 훈련 속도를 기록하며, 다양한 네트워크 간 효과적인 전이 학습을 가능하게 한다.

ABSTRACT

Nodes performing different functions in a network have different roles, and these roles can be gleaned from the structure of the network. Learning latent representations for the roles of nodes helps to understand the network and to transfer knowledge across networks. However, most existing structural embedding approaches suffer from high computation and space cost or rely on heuristic feature engineering. Here we propose RiWalk, a flexible paradigm for learning structural node representations. It decouples the structural embedding problem into a role identification procedure and a network embedding procedure. Through role identification, rooted kernels with structural dependencies kept are built to better integrate network embedding methods. To demonstrate the effectiveness of RiWalk, we develop two different role identification methods named RiWalk-SP and RiWalk-WL respectively and employ random walk based network embedding methods. Experiments on within-network classification tasks show that our proposed algorithms achieve comparable performance with other baselines while being an order of magnitude more efficient. Besides, we also conduct across-network role classification tasks. The results show potential of structural embeddings in transfer learning. RiWalk is also scalable, making it capable of capturing structural roles in massive networks.

연구 동기 및 목표

• 높은 계산 비용 또는 히우리스틱 특징 공학에 의존하는 기존 구조적 노드 임베딩 방법의 한계를 해결한다.
• 크기와 구조가 다른 네트워크 간에 구조적 역할을 효과적으로 전이 학습할 수 있도록 한다.
• 모듈성과 효율성을 위해 구조적 표현 학습을 역할 식별과 네트워크 임베딩 절차로 분리한다.
• 그래프 커널 원리와 현대적 네트워크 임베딩 기법을 통합하여 확장성과 성능을 향상시킬 수 있는 유연한 프레임워크를 개발한다.
• 실제 다양한 네트워크(인프라 및 사회 네트워크 포함)에서 구조적 임베딩의 강건성과 일반화 능력을 입증한다.

제안 방법

• 구조적 노드 임베딩을 두 단계로 분해한다: 역할 식별과 네트워크 임베딩. 이를 통해 모듈러한 설계와 기존 방법의 재사용을 가능하게 한다.
• 기준 노드의 국소 서브그래프에서의 구조적 역할에 기반해 컨텍스트 노드를 재라벨링함으로써 루트된 커널을 구성하여 구조적 의존성을 유지한다.
• 두 가지 역할 식별 방법을 제안한다: RiWalk-SP는 최단경로 서브구조를 위해 이웃 노드의 차수 유사도를 기반으로 하며, RiWalk-WL은 Weisfeiler-Lehman 커널에 영감을 받은 이웃 집합 기반 집합을 사용하여 세밀한 패턴을 식별한다.
• 기존의 랜덤 워크 기반 네트워크 임베딩 방법(예: node2vec)을 재라벨링된 서브그래프에 적용하여 구조적 노드 표현을 학습한다.
• 구조적으로 동일한 노드를 효과적으로 탐색하기 위해 재라벨링된 그래프에서 편향된 랜덤 워크를 사용하여 임베딩 품질을 향상시킨다.
• 부정 샘플링과 언어 모델 훈련을 활용하여 최종 임베딩의 효율적 최적화를 수행한다.

Figure 1: Two nodes $a$ and $u$ residing far apart in a network have similar local topologies but totally different context nodes. However, after the role identification procedure, they have similar context and are indirectly densely connected, thus typical network embedding methods can be directly

실험 결과

연구 질문

• RQ1 역할 식별과 네트워크 임베딩을 분리한 프레임워크가 종단간 구조적 임베딩 방법보다 효율성과 성능 면에서 뛰어나게 되는가?
• RQ2 RiWalk를 통해 학습한 구조적 노드 임베딩이 크기와 유형이 다른 네트워크(예: 인프라 네트워크 대 사회 네트워크) 간에 얼마나 일반화되는가?
• RQ3 RiWalk-SP와 RiWalk-WL은 struc2vec과 같은 최첨단 기준 대비 정확도와 계산 효율성 면에서 어떻게 비교되는가?
• RQ4 RiWalk는 구조적 홀과 허브와 같은 구조적 역할을 효과적으로 포착할 수 있으며, 전이 학습 시나리오에서 어떻게 성능을 발휘하는가?
• RQ5 RiWalk는 대규모 네트워크에서의 확장성은 어떻게 되며, 네트워크 크기가 증가함에 따라 런타임은 어떻게 증가하는가?

주요 결과

• RiWalk-SP와 RiWalk-WL은 내부 네트워크 노드 분류 작업에서 최첨단 기준과 유사하거나 뛰어난 성능을 기록하며, 훈련 시간이 최대 10배 빠르다.
• Europe:USA 및 USA:Actor 간의 네트워크 간 전이 학습 작업에서 RiWalk-SP와 RiWalk-WL은 기준을 크게 앞서며, 분포 이질성에도 불구하고 강건성을 보였다.
• Europe 네트워크에서 RiWalk-WL은 struc2vec 대비 28.7% 향상되었고, USA 네트워크에서는 17.2% 향상되었다.
• 구조적 홀 식별 작업에서 RiWalk-SP와 RiWalk-WL은 Actor 네트워크에서 struc2vec 대비 각각 145%와 127%의 성능 향상을 기록했다.
• RiWalk-WL은 네트워크 크기에 따라 초선형적으로 확장되며, 복잡도는 약 O(n^1.2)로 평가되어 Erdos-Renyi 그래프(최대 100만 노드)에서 강력한 확장성을 입증했다.
• 이 프레임워크는 인프라(유럽, 미국) 및 사회(Actor) 네트워크를 포함한 다양한 네트워크에서 구조적 역할을 성공적으로 포착하여, 네트워크 유형이나 규모에 관계없이 구조적 역할의 일반성(유니버설리티)을 입증했다.

(a) Expressway network