[논문 리뷰] The multilayer random dot product graph

A. Jones, Patrick Rubin‐Delanchy|arXiv (Cornell University)|2020. 07. 20.

Complex Network Analysis Techniques참고 문헌 40인용 수 14

한 줄 요약

이 논문은 공통의 노드 집합을 공유하는 다수의 무방향 및 유방향 그래프를 공통의 잠재 공간에 함께 통합하여 표현하는 다층 랜덤 도트 곱 그래프(Multilayer Random Dot Product Graph, ML-RDPG)를 소개한다. 스펙트럼 임베딩이 가우시안 오차를 동반하여 진짜 잠재 위치로 수렴하는 이론적 성질를 확립하고, 특히 사이버보안 응용 분야에서 단일 그래프 및 기존 다중그래프 방법에 비해 링크 예측 및 커뮤니티 탐지 성능이 뛰어나다는 것을 입증한다.

ABSTRACT

We present a comprehensive extension of the latent position network model known as the random dot product graph to accommodate multiple graphs -- both undirected and directed -- which share a common subset of nodes, and propose a method for jointly embedding the associated adjacency matrices, or submatrices thereof, into a suitable latent space. Theoretical results concerning the asymptotic behaviour of the node representations thus obtained are established, showing that after the application of a linear transformation these converge uniformly in the Euclidean norm to the latent positions with Gaussian error. Within this framework, we present a generalisation of the stochastic block model to a number of different multiple graph settings, and demonstrate the effectiveness of our joint embedding method through several statistical inference tasks in which we achieve comparable or better results than rival spectral methods. Empirical improvements in link prediction over single graph embeddings are exhibited in a cyber-security example.

연구 동기 및 목표

• 공통의 노드 집합을 공유하는 다수의 무방향 및 유방향 그래프를 다룰 수 있도록 랜덤 도트 곱 그래프 모델을 확장한다.
• 다양한 그래프 간에 일관되게 잠재 위치를 추정할 수 있는 공동 스펙트럼 임베딩 방법을 개발한다.
• 희박성 하에서 노드 표현의 渐近적 행동에 대한 이론적 보장을 확립한다.
• 다양한 연결 패턴을 가진 다층 설정으로 확장된 스토하스틱 블록 모델을 일반화한다.
• 특히 링크 예측에서 단일 그래프 및 경쟁 다중그래프 방법에 비해 통계적 추론 성능을 향상시킨다.

제안 방법

• 각 그래프의 인접행렬이 잠재 위치 벡터와 변환 행렬을 포함하는 커널 함수를 통해 생성되는 다층 랜덤 도트 곱 그래프(ML-RDPG) 모델을 제안한다.
• 스펙트럼 임베딩의 좌측 및 우측 적용을 통해 인접행렬의 최대 고유값을 활용하여 다수의 그래프 간에 공동으로 잠재 위치를 추정한다.
• 이론적 수렴성 확립: 임bedded된 노드 표현은 유클리드 노름에서 진짜 잠재 위치로 수렴하며, 점차적으로 가우시안 오차를 가진다.
• 다양한 조화 및 비조화성 패턴을 가진 다수의 그래프에서 커뮤니티 구조를 모델링하기 위해 일반화된 다층 스토하스틱 블록 모델(GMSBM)을 도입한다.
• 모델 간 구별 가능성을 측정하기 위해 체르노프 정보를 사용하며, 대규모 분석을 단순화하기 위해 절단된 형태($\rho_{\mathbf{A}}$)를 도입한다.
• 시뮬레이션과 실제 사이버보안 데이터를 활용하여 다양한 그래프 조합과 임베딩 전략에서 링크 예측 성능을 평가한다.

실험 결과

연구 질문

• RQ1 공통의 노드 집합을 공유하는 다수의 무방향 및 유방향 그래프를 동시에 통합하여 표현할 수 있는 통합 잠재 공간 모델을 개발할 수 있는가?
• RQ2 다수의 그래프 스펙트럼 임베딩은 진짜 잠재 위치로 균일하게 수렴하는가? 그 점근적 오차의 성격은 어떠한가?
• RQ3 다양한 그래프를 통합함으로써 링크 예측 및 커뮤니티 탐지와 같은 통계적 추론 작업의 성능이 단일 그래프 임베딩에 비해 향상되는가?
• RQ4 그래프 간 커뮤니티 구조와 노드 확률 벡터의 다양성이 모델의 구별 가능성과 성능에 미치는 영향은 어떠한가?
• RQ5 제안된 방법은 실세계 추론 작업에서 기존의 다중그래프 임베딩 기법들인 평균 임베딩 및 옴니버스 임베딩을 초월할 수 있는가?

주요 결과

• ML-RDPG의 스펙트럼 임베딩은 유클리드 노름에서 진짜 잠재 위치로 수렴하며, 점차적으로 가우시안 오차를 가지며, 이는 이중 그래프에 대해 처음으로 성립하는 결과이다.
• 컴퓨터 네트워크에서 링크 예측 작업에서 공동 임베딩 방법은 단일 그래프 임베딩보다 실증적 성능 향상을 보였으며, 특히 동적 네트워크 데이터와 포트 기반 네트워크 데이터를 조합할 경우 두드러진 성능 향상을 보였다.
• 대규모 GMSBM의 경우 절단된 체르노프 정보($\rho_{\mathbf{A}}$)는 모델의 구별 가능성에 대한 신뢰할 수 있는 대체 측정기준이 되며, 더 많은 그래프를 추가했을 때 최소 73%의 시뮬레이션에서 $\rho_{\mathbf{A}}/\rho_{\mathbf{A}_{\mathcal{K}}}>1$를 기록했다.
• 모델은 항상 열등한 개별 임베딩보다 나은 성능 또는 동등한 성능을 보였으며, 간섭 없이도 엣지 확률 행렬의 특성에 차이가 있어도 안정적인 성능을 유지했다.
• 추가적인 그래프를 임베딩함으로써 평균적으로 성능 향상이 이루어졌으며, 특히 잠재 위치가 더 많은 커뮤니티에서 유래할 경우 성능 향상이 더 두드러졌고, 노드 확률 벡터가 공유되었는지 여부에 관계없이 이점이 견고하게 유지되었다.
• 모든 시뮬레이션 시험에서 최소한 하나의 임베딩 하위집합이 전체 모델보다 더 높은 $\rho_{\mathbf{A}}/\rho_{\mathbf{A}_{\mathcal{K}}}$ 비율을 기록했으며, 이는 UASE가 항상 최악의 개별 임베딩보다 나은 성능을 보임을 시사한다.