[논문 리뷰] A statistical interpretation of spectral embedding: the generalised random dot product graph

Patrick Rubin‐Delanchy, Joshua Cape외 2명|arXiv (Cornell University)|2017. 09. 16.

Complex Network Analysis Techniques인용 수 12

한 줄 요약

이 논문은 일반화된 랜덤 도트 곱 그래프(GRDPG)를 소개한다. 이는 랜덤 도트 곱 그래프를 확장하여 이질적 친화성 연결성과 음수 고유값을 허용함으로써 스펙트럼 임bedding를 통한 일致하고 점점 정규분포로 수렴하는 잠재 위치 추정을 가능하게 한다. GRDPG는 스펙트럼 임bedding에 대한 원칙적인 통계적 해석을 제공하며, 표준 스토케스틱 블록 모델을 넘어서는 더 풍부한 네트워크 구조를 지원한다.

ABSTRACT

Spectral embedding is a procedure which can be used to obtain vector representations of the nodes of a graph. This paper proposes a generalisation of the latent position network model known as the random dot product graph, to allow interpretation of those vector representations as latent position estimates. The generalisation is needed to model heterophilic connectivity (e.g., `opposites attract') and to cope with negative eigenvalues more generally. We show that, whether the adjacency or normalised Laplacian matrix is used, spectral embedding produces uniformly consistent latent position estimates with asymptotically Gaussian error (up to identifiability). The standard and mixed membership stochastic block models are special cases in which the latent positions take only $K$ distinct vector values, representing communities, or live in the $(K-1)$-simplex with those vertices, respectively. Under the stochastic block model, our theory suggests spectral clustering using a Gaussian mixture model (rather than $K$-means) and, under mixed membership, fitting the minimum volume enclosing simplex, existing recommendations previously only supported under non-negative-definite assumptions. Empirical improvements in link prediction (over the random dot product graph), and the potential to uncover richer latent structure (than posited under the standard or mixed membership stochastic block models) are demonstrated in a cyber-security example.

연구 동기 및 목표

• 랜덤 도트 곱 그래프가 이질적 친화성 연결성을 모델링하는 데 한계가 있음을 해결하기 위해.
• 스펙트럼 임bed딩을 클러스터링과 독립적인 잠재 위치 추정 절차로 통계적으로 해석하기 위해.
• 스토케스틱 블록 모델과 믹스드 멤버십 모델을 비정규정의 연결성 구조를 허용하도록 일반화하기 위해.
• 특히 복잡한 잠재 구조를 가진 사이버보안 응용 분야에서 더 정확하고 원칙적인 추론을 지원하기 위해.
• 스펙트럼 임bed딩이 GRDPG 프레임워크 하에서 일致하고 점점 정규분포로 수렴하는 오차를 가진 잠재 위치 추정을 제공함을 보여주기 위해.

제안 방법

• 불확정 내적과 음수 고유값을 허용하는 잠재 위치 네트워크 모델로 일반화된 랜덤 도트 곱 그래프(GRDPG)를 제안한다.
• 노드의 d차원 벡터 표현을 확보하기 위해 인접행렬 또는 정규화된 라플라시안 행렬의 스펙트럼 임bed딩을 수행한다.
• 고유값 스케일링을 적용하여 주요 고유벡터를 추출함으로써 잠재 위치의 일관된 추정을 가능하게 한다.
• GRDPG 모델 하에서 잠재 위치 추정의 이론적 일관성과 점점 정규분포로 수렴함을 입증한다.
• 실제 네트워크 데이터(예: 사이버보안 그래프)에 프레임워크를 적용하며, 스펙트럼 임bed딩 이후 가우시안 믹스처 모델링 또는 t-SNE 시각화를 수행한다.
• 임bed된 벡터 간의 내적(또는 불확정 내적)을 링크 예측을 위한 간선 확률 추정치로 사용한다.

실험 결과

연구 질문

• RQ1 표준 랜덤 도트 곱 그래프보다 더 일반적인 무작위 그래프 모델 하에서 스펙트럼 임bed딩을 일관된 잠재 위치 추정 절차로 해석할 수 있는가?
• RQ2 GRDPG 모델은 '상반된 자들이 끌리는' 또는 코어-퍼퍼리퍼 구조와 같은 비균일 친화성 연결 패턴을 어떻게 다루는가?
• RQ3 GRDPG 모델 하에서 스펙트럼 임bed딩의 점점 정규분포로 수렴하는 분포는 무엇이며, 일관된 추정을 지원하는가?
• RQ4 표준 또는 믹스드 멤버십 스토케스틱 블록 모델보다 GRDPG 모델이 더 풍부한 잠재 네트워크 구조를 드러낼 수 있는가?
• RQ5 GRDPG는 표준 랜덤 도트 곱 그래프에 비해 링크 예측 성능을 향상시키는가?

주요 결과

• GRDPG 모델 하에서 스펙트럼 임bed딩은 식별성까지 고려할 때 일致하고 점점 정규분포로 수렴하는 오차를 가진 잠재 위치 추정을 생성한다.
• GRDPG 모델은 동질적 친화성과 이질적 친화성 연결을 모두 지원하며, 표준 랜덤 도트 곱 그래프가 모델링할 수 없는 음수 고유값의 경우도 포함한다.
• 스토케스틱 블록 모델 하에서 GRDPG는 공동체가 잘 분리되어 있지 않을 경우 K-평균 대신 가우시안 믹스처 모델을 사용하는 것이 타당함을 정당화한다.
• 믹스드 멤버십 모델 하에서 GRDPG는 최소 부피를 갖는 둘레 삼각형을 피팅하는 데 지원하며, 이는 이전의 비음수정의 조건을 초월한 권고를 확장한다.
• 사이버보안 네트워크에 대한 실증 결과는 GRDPG 기반 임bed딩이 포트 활동과 관련된 잠재 구조를 드러내며, 표준 스토케스틱 블록 모델이 예측한 것보다 더 풍부한 기하학적 구조를 반영함을 보여준다.
• 복잡하고 비동질적 친화성 연결 패턴을 가진 네트워크에서 GRDPG 기반 임bed딩은 표준 랜덤 도트 곱 그래프에 비해 링크 예측 성능이 향상됨을 보였다.