[논문 리뷰] Hermitian matrices for clustering directed graphs: insights and applications

Mihai Cucuringu, Huan Li외 2명|arXiv (Cornell University)|2019. 08. 06.

Graph theory and applications참고 문헌 3인용 수 13

한 줄 요약

이 논문은 방향성 간선을 허수 단위를 통해 표현하는 복소수 허미트 인cidency 행렬을 사용하여 방향성 그래프에 대한 스펙트럴 클러스터링 알고리즘을 제안한다. 이는 비대칭 클러스터 구조를 탐지할 수 있게 하며, 실제 이주 및 블로그 네트워크에서 기존 방법들을 능가하여 방향성 이주 패턴과 정치적 블로그 링크의 불균형을 드러낸다. 특히 Herm-RW가 가장 높은 컷 불균형 점수를 기록한다.

ABSTRACT

Graph clustering is a basic technique in machine learning, and has widespread applications in different domains. While spectral techniques have been successfully applied for clustering undirected graphs, the performance of spectral clustering algorithms for directed graphs (digraphs) is not in general satisfactory: these algorithms usually require symmetrising the matrix representing a digraph, and typical objective functions for undirected graph clustering do not capture cluster-structures in which the information given by the direction of the edges is crucial. To overcome these downsides, we propose a spectral clustering algorithm based on a complex-valued matrix representation of digraphs. We analyse its theoretical performance on a Stochastic Block Model for digraphs in which the cluster-structure is given not only by variations in edge densities, but also by the direction of the edges. The significance of our work is highlighted on a data set pertaining to internal migration in the United States: while previous spectral clustering algorithms for digraphs can only reveal that people are more likely to move between counties that are geographically close, our approach is able to cluster together counties with a similar socio-economical profile even when they are geographically distant, and illustrates how people tend to move from rural to more urbanised areas.

연구 동기 및 목표

• 표준 스펙트럴 클러스터링이 인cidency 행렬의 대칭화로 인해 방향성 간선 패턴을 포착하지 못하는 데 기인한 한계를 해결하기 위해.
• 특히 클러스터 구조가 비대칭 연결성에 의해 정의되는 경우에도 간선 방향성을 유지하고 활용할 수 있는 클러스터링 프레임워크를 개발하기 위해.
• 비대칭 간선 방향 확률을 가진 방향성 스토케스틱 블록 모델(DSBM)을 도입하여, 방향성 그래프에서의 클러스터링 성능을 모델링하고 평가하기 위해.
• 실제 데이터셋, 특히 방향성 패턴이 핵심적인 미국 내부 이주 및 정치 블로그 네트워크에서 방법의 실증적 검증을 수행하기 위해.
• 제안된 방법이 지리적 또는 밀도 기반 클러스터링을 초월하여, 농촌에서 도시로의 이주와 같은 고차원 구조적 패턴을 드러낼 수 있음을 보여주기 위해.

제안 방법

• 모든 고유값이 실수임을 보장하기 위해, 방향 간선 $ u \to v $ 가 존재할 경우 $ A_{u,v} = i $ 이고 $ A_{v,u} = -i $ 인 복소수 허미트 인cidency 행렬 $ A \in \mathbb{C}^{N \times N} $ 을 구성한다.
• 이 허미트 행렬의 최상위 고유벡터를 $ k $-means 클러스터링의 입력 특징으로 사용하여 그래프를 $ k $ 개의 클러스터로 분할한다.
• 클러스터 $ X $ 와 $ Y $ 간의 방향성 비대칭성을 수량화하기 위해 컷 불균형 측정치 $ \text{CI}(X,Y) = \left| \frac{w(X,Y)}{w(X,Y)+w(Y,X)} - \frac{1}{2} \right| $ 를 도입하며, 크기 또는 볼륨으로 정규화한다.
• 안정성 향상을 위해 두 가지 변형을 제안한다: Herm(허미트 행렬에 대한 표준 스펙트럴 클러스터링)과 Herm-RW(랜덤 워크 정규화 버전).
• 원시 이주 또는 하이퍼링크 데이터를 스케우-대칭 행렬 $ G = \widetilde{M} - \widetilde{M}^T $ 으로 변환한 후, 여기서 $ \widetilde{M}_{j\ell} = M_{j\ell}/(M_{j\ell} + M_{\ell j}) $ 이다. 이 후 허미트 행렬을 구성한다.
• 정규화된 컷 불균형 점수 $ \text{CI}^{\text{size}} $ 와 $ \text{CI}^{\text{vol}} $ 를 사용하여 성능을 평가하며, 높은 값일수록 더 강한 방향성 클러스터 구조를 의미한다.

실험 결과

연구 질문

• RQ1 표준 스펙트럴 클러스터링이 실패하는 방향성 그래프에서, 복소수 허미트 행렬 표현이 방향성 클러스터 구조를 효과적으로 포착할 수 있는가?
• RQ2 제안된 방법은 실제 데이터에서 의미 있는 비자명한 클러스터 패턴을 탐지하는 데 있어, 이전의 스펙트럴 클러스터링 알고리즘보다 어떻게 비교되는가?
• RQ3 커트 불균형 측정치 $ \text{CI}^{\text{vol}} $ 는 미국 이주 및 블로그 네트워크와 같은 네트워크에서 방향성 이주 또는 정보 흐름 패턴을 어느 정도 식별하고 수량화할 수 있는가?
• RQ4 비대칭 간선 확률을 가진 방향성 스토케스틱 블록 모델(DSBM)의 사용이, 방향성 그래프에서 클러스터링 성능의 이론적 및 실증적 평가를 향상시킬 수 있는가?
• RQ5 이 방법은 단순한 지리적 또는 밀도 기반 클러스터링을 초월하여, 농촌에서 도시로의 대규모 방향성 유량과 같은 고차원 구조적 패턴을 드러낼 수 있는가?

주요 결과

• 미국 이주 데이터셋에서 $ k=10 $ 일 때, Herm-RW는 최상위 클러스터 쌍에 대해 가장 높은 $ \text{CI}^{\text{vol}} $ 점수를 기록했으며, DISGLR와 DD-Sym을 크게 능가했다.
• $ k=20 $ 일 때, Herm과 Herm-RW는 모든 다른 방법보다 일관되게 높은 $ \text{CI}^{\text{vol}} $ 점수를 유지하여 클러스터 수에 대한 강건성을 입증했다.
• Herm-RW 방법은 버지니아와 캐롤라이나 주의 농촌 카운티에서 뉴욕, 시카고, 플로리다 동부 해안의 도시 중심지로의 이주 패턴을 식별했으며, 이는 전체 이질적 간선의 68% 가 녹색 클러스터에서 빨간색 클러스터로 방향화되어 있었다.
• BLOG 네트워크에서는 모든 $ k $ 값에서 Herm-RW가 가장 뛰어난 성능을 보였으며, 특히 $ k=2 $ 일 때 최상위 쌍에 대해 가장 높은 $ \text{CI}^{\text{vol}} $ 점수를 기록했고, 이는 알려진 공화당- democratic 정당 분열과 일치했다.
• 히트맵 시각화 결과, Herm과 Herm-RW는 밀도 기반 클러스터링의 특징인 블록 대각형 구조를 보이지 않는 강력한 방향성 불균형을 나타내는 비대칭 블록 구조를 생성한 반면, DISGLR와 DD-Sym는 전형적인 블록 대각형 구조를 보였다.
• 제안된 DSBM 모델은 방향성 클러스터 구조를 효과적으로 포착하여, 지능형 지표가 있는 합성 데이터에서 알고리즘 성능의 이론적 분석과 검증을 가능하게 했다.