[논문 리뷰] Spectral clustering under degree heterogeneity: a case for the random walk Laplacian

Alexander Modell, Patrick Rubin‐Delanchy|arXiv (Cornell University)|2021. 05. 03.

Bayesian Methods and Mixture Models인용 수 4

한 줄 요약

이 논문은 네트워크 내도도도성에 대한 내재적 보정을 위해 스펙트럴 클러스터링에서 무작위 보행 라플라시안을 사용할 것을 주장한다. 이는 잠재적 위치의 도메인 보정을 일관적으로 추정할 수 있게 하여 구조적 투영 없이 점차적으로 완벽한 커뮤니티 복원을 가능하게 하며, 최적의 클러스터링을 위한 가중치가 부여된 가우시안 믹스처 모델을 제안한다.

ABSTRACT

This paper shows that graph spectral embedding using the random walk Laplacian produces vector representations which are completely corrected for node degree. Under a generalised random dot product graph, the embedding provides uniformly consistent estimates of degree-corrected latent positions, with asymptotically Gaussian error. In the special case of a degree-corrected stochastic block model, the embedding concentrates about K distinct points, representing communities. These can be recovered perfectly, asymptotically, through a subsequent clustering step, without spherical projection, as commonly required by algorithms based on the adjacency or normalised, symmetric Laplacian matrices. While the estimand does not depend on degree, the asymptotic variance of its estimate does -- higher degree nodes are embedded more accurately than lower degree nodes. Our central limit theorem therefore suggests fitting a weighted Gaussian mixture model as the subsequent clustering step, for which we provide an expectation-maximisation algorithm.

연구 동기 및 목표

• 랜덤 워크 라플라시안에서 유도된 스펙트럴 임베딩의 원리적인 통계적 해석을 제공하는 것.
• 표준 스펙트럴 클러스터링 방법이 도메인 다양성을 다루는 데에 한계를 보이는 문제를 해결하는 것, 특히 도메인 보정 스토케스틱 블록 모델과 같은 모델에서의 문제를 다루는 것.
• 랜덤 워크 라플라시안이 노드의 도메인을 고려한 임베딩을 내재적으로 보정함으로써 구조적 투영이 필요 없도록 하는 것.
• 노드 도메인에 따른 점차적 분산 의존성에 기반한 이론적으로 타당한 클러스터링 절차를 개발하는 것.
• 제안된 임베딩과 가중치가 부여된 가우시안 믹스처 모델을 사용하여 점차적으로 완벽한 커뮤니티 복원이 가능함을 보여주는 것.

제안 방법

• 스펙트럴 임베딩의 입력으로 인접행렬 또는 대칭 라플라시안 행렬을 대체하여 랜덤 워크 라플라시안 행렬을 사용한다.
• 노드의 잠재적 위치가 노드별 가중치에 의해 스케일링된 일반화된 무작위 점곱 그래프 모델 하에서 임베딩을 분석한다.
• 모델 하에서 도메인 보정 잠재 위치에 대한 임베딩의 균일 일관성을 확립한다.
• 추정 오차가 점차적으로 가우시안 분포를 따르며, 분산이 노드 도메인에 따라 달라지는 중심극한정리를 도출한다.
• 각 노드의 임베딩의 점차적 분산에 반비례하는 가중치를 갖는 가중치가 부여된 가우시안 믹스처 모델을 제안한다.
• 가중치가 부여된 가우시안 믹스처 모델을 피팅하기 위한 기대최대화 알고리즘을 제공하여 기존 방법보다 더 높은 클러스터링 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 랜덤 워크 라플라시안을 사용한 스펙트럴 임베딩은 도메인 보정 측면에서 인접행렬 또는 대칭 라플라시안 행렬에서 유도된 임베딩과 비교해 어떻게 다를까?
• RQ2 랜덤 워크 라플라시안은 일반화된 무작위 점곱 그래프 모델 하에서 도메인 보정 잠재 위치에 대해 일관된 추정을 제공할 수 있는가?
• RQ3 도메인 보정 스토케스틱 블록 모델 하에서, 구조적 투영 없이도 임베딩이 점차적으로 완벽한 커뮤니티 복원을 가능하게 하는가?
• RQ4 임베딩 추정치의 점차적 분산은 노드 도메인에 따라 어떻게 달라지며, 이를 클러스터링 성능 향상에 활용할 수 있는가?
• RQ5 가중치가 부여된 가우시안 믹스처 모델은 랜덤 워크 라플라시안의 임베딩에서 커뮤니티를 복원하는 데 있어 표준 클러스터링 방법보다 뛰어난가?

주요 결과

• 일반화된 무작위 점곱 그래프 모델 하에서, 랜덤 워크 라플라시안을 사용한 스펙트럴 임베딩은 도메인 보정 잠재 위치에 대해 균일 일관된 추정을 제공한다.
• 임베딩 오차의 점차적 분포는 가우시안이며, 분산이 낮은 도메인을 가진 노드일수록 증가하므로, 고도수 노드일수록 더 정확하게 임베딩된다.
• 도메인 보정 스토케스틱 블록 모델 하에서, 임베딩은 K개의 커뮤니티에 해당하는 K개의 고립된 점으로 집중되며, 이는 점차적으로 완벽한 복원을 가능하게 한다. 이는 구조적 투영 없이도 가능하다.
• 제안된 방법은 구조적 LSE를 능가하며, 특히 네트워크가 크거나 조밀한 영역에서 구조적 ASE와 경쟁 가능하다.
• 점차적 분산에서 유도된 가중치를 갖는 가중치가 부여된 가우시안 믹스처 모델은 비가중치 대비 더 높은 클러스터링 성능 향상을 이끈다.
• 해리 포터 적대관계 네트워크에 대한 실증 결과는 일차원 랜덤 워크 임베딩에서 명확한 커뮤니티 분리가 이루어졌으며, 스네이프와 블랙과 같은 이질적 노드들이 서사적 역할에 따라 정확히 위치함을 보여준다.