[논문 리뷰] Phase Transitions and a Model Order Selection Criterion for Spectral Graph Clustering

Pin‐Yu Chen, Alfred O. Hero|arXiv (Cornell University)|2016. 04. 11.

Complex Network Analysis Techniques참고 문헌 51인용 수 12

한 줄 요약

이 논문은 무작위 상호연결 모델(RIM) 하에서 단계 전이 분석을 활용하여 스펙트럴 그래프 클러스터링에서 클러스터 수를 선택하는 데 새로운 기준인 자동 모델 순서 선택(AMOS)을 제안한다. 상호연결 확률의 임계 임계값 $p^*$를 식별함으로써, RIM 하에서 상호연결 확률이 이 값 이하일 경우 안정적인 클러스터링을 보장하며, 대칭 비음수 행렬의 숨겨진 블록 대각형 구조를 정확하게 탐지할 수 있고, 실제 네트워크에서 기존 방법들보다 뛰어난 성능을 보인다.

ABSTRACT

One of the longstanding open problems in spectral graph clustering (SGC) is the so-called model order selection problem: automated selection of the correct number of clusters. This is equivalent to the problem of finding the number of connected components or communities in an undirected graph. We propose automated model order selection (AMOS), a solution to the SGC model selection problem under a random interconnection model (RIM) using a novel selection criterion that is based on an asymptotic phase transition analysis. AMOS can more generally be applied to discovering hidden block diagonal structure in symmetric non-negative matrices. Numerical experiments on simulated graphs validate the phase transition analysis, and real-world network data is used to validate the performance of the proposed model selection procedure.

연구 동기 및 목표

• 스펙트럴 그래프 클러스터링에서 오랫동안 해결되지 않은 모델 순서 선택 문제를 해결한다: 즉, 클러스터 수를 자동으로 결정하는 것.
• 상호클러스터 연결성에 기반하여 스펙트럴 클러스터링이 실패하거나 성공할 수 있는 이론적 조건을 설정한다.
• 단계 전이 임계값을 활용하여 신뢰할 수 있는 클러스터 수를 선택하는 실용적이고 자동화된 방법(AMOS)을 개발한다.
• 지식 기반 공동체 또는 지리적 구조를 가진 실제 네트워크에서 시험을 통해 방법의 타당성을 검증한다.
• 단일 무게 없는 그래프에서 단계 전이 분석을 가중치가 있는 그래프로 확장하고, 이질적인 RIM에 적용한다.

제안 방법

• 내부 클러스터 간 연결은 임의이며, 상호클러스터 간 간선은 무작위인 무작위 상호연결 모델(RIM)을 제안하여 스펙트럴 클러스터링 성능의 이론적 분석을 가능하게 한다.
• RIM 하에서 그래프 라플라시안의 고유스pektr럼의 渐近적 분석을 통해 스펙트럴 클러스터링의 붕괴 조건을 유도한다.
• 스펙트럴 클러스터링이 성공하는 조건은 상호클러스터 연결 확률 $p < p^*$이고, 실패하는 조건은 $p > p^*$인 임계 단계 전이 임계값 $p^*$를 식별한다.
• 이항 동질성 검정과 단계 전이 임계값을 활용하여 국소 및 전역 RIM 구조를 테스트하는 순차적 모델 순서 선택 알고리즘인 AMOS를 개발한다.
• Davis-Kahan $\sin\theta$ 정리를 사용하여 고유벡터의 변동을 바ounds하고, 라플라시안 고유공간의 수렴 조건을 유도한다.
• 비음수 대칭 행렬에 이 방법을 적용하여 숨겨진 블록 대각형 구조를 탐지함으로써, 그래프를 초월한 일반화를 이루었다.

실험 결과

연구 질문

• RQ1 무작위 상호연결 모델(RIM) 하에서 스펙트럴 클러스터링이 진정한 클러스터를 복구하지 못하는 상호클러스터 연결 확률의 임계값 $p^*$는 무엇인가?
• RQ2 가중치가 있는 그래프에서 스펙트럴 클러스터링의 단계 전이 행동은 클러스터 크기 분포와 상호클러스터 간선 가중치에 어떻게 의존하는가?
• RQ3 단계 전이 분석을 활용하여 스펙트럴 그래프 클러스터링에서 클러스터 수를 선택하는 신뢰할 수 있는 자동 기준을 구축할 수 있는가?
• RQ4 AMOS 알고리즘이 선택된 모델 순서가 안정적인 클러스터링 해에 해당함을 어떻게 보장하는가?
• RQ5 지식 기반 공동체 또는 지리적 구조를 가진 실제 네트워크에서 AMOS는 기존 방법들에 비해 클러스터링 정확도를 어느 정도 향상시키는가?

주요 결과

• 동질적인 RIM 하에서 스펙트럴 클러스터링이 $p < p^*$일 경우 완벽하게 클러스터를 탐지하고, $p > p^*$일 경우 실패하는 임계 단계 전이 임계값 $p^*$가 존재한다.
• 상한 $p_{\text{UB}} = \frac{c^*}{(K-1)\rho_{\min}}$ 과 하한 $p_{\text{LB}} = \frac{c^*}{(K-1)\rho_{\max}}$ 을 가지며, 여기서 $c^*$ 는 라플라시안의 점근적 정규화된 추적값이다.
• AMOS는 RIM 구조를 테스트하고 추정된 상호클러스터 연결 확률이 $p^*$ 를 초과하는지 확인함으로써 시뮬레이션된 그래프에서 정확한 클러스터 수를 성공적으로 식별한다.
• 인터넷 백본 및 미네소타 도로망과 같은 실제 네트워크에서 AMOS는 기준 방법들보다 지리적 및 알려진 공동체 구조와 더 일치하는 클러스터를 생성한다.
• 상호클러스터 연결이 단계 전이 임계값을 초과하는 모델 순서는 기각함으로써 클러스터링 신뢰도를 향상시키며, 안정적인 해만 선택함으로써 안정성을 확보한다.
• 수치 실험 결과 단계 전이 분석이 다양한 네트워크 모델과 가중치 분포에서 스펙트럴 클러스터링 성능을 정확하게 예측함을 확인하였다.