[논문 리뷰] Regularized spectral methods for clustering signed networks

Mihai Cucuringu, Apoorv Vikram Singh외 2명|arXiv (Cornell University)|2020. 11. 03.

Complex Network Analysis Techniques참고 문헌 47인용 수 13

한 줄 요약

이 논문은 이론적 보장을 제공하면서 희소 그래프를 다룰 수 있도록 SPONGE와 Signed Laplacian 알고리즘을 확장한 정규화된 스펙트럼 클러스터링 방법을 제안한다. 이는 정규화된 스펙트럼 클러스터링에 대한 첫 이론적 분석을 제공하며, 밀도가 높거나 낮은 상황 모두에서 우수한 성능을 보이며, 불균형하고 희소한 설정에서 더 높은 클러스터링 정확도를 달성한다.

ABSTRACT

We study the problem of $k$-way clustering in signed graphs. Considerable attention in recent years has been devoted to analyzing and modeling signed graphs, where the affinity measure between nodes takes either positive or negative values. Recently, Cucuringu et al. [CDGT 2019] proposed a spectral method, namely SPONGE (Signed Positive over Negative Generalized Eigenproblem), which casts the clustering task as a generalized eigenvalue problem optimizing a suitably defined objective function. This approach is motivated by social balance theory, where the clustering task aims to decompose a given network into disjoint groups, such that individuals within the same group are connected by as many positive edges as possible, while individuals from different groups are mainly connected by negative edges. Through extensive numerical simulations, SPONGE was shown to achieve state-of-the-art empirical performance. On the theoretical front, [CDGT 2019] analyzed SPONGE and the popular Signed Laplacian method under the setting of a Signed Stochastic Block Model (SSBM), for $k=2$ equal-sized clusters, in the regime where the graph is moderately dense. In this work, we build on the results in [CDGT 2019] on two fronts for the normalized versions of SPONGE and the Signed Laplacian. Firstly, for both algorithms, we extend the theoretical analysis in [CDGT 2019] to the general setting of $k \geq 2$ unequal-sized clusters in the moderately dense regime. Secondly, we introduce regularized versions of both methods to handle sparse graphs -- a regime where standard spectral methods underperform -- and provide theoretical guarantees under the same SSBM model. To the best of our knowledge, regularized spectral methods have so far not been considered in the setting of clustering signed graphs. We complement our theoretical results with an extensive set of numerical experiments on synthetic data.

연구 동기 및 목표

• k=2인 동일 크기의 클러스터에서 일반적인 k ≥ 2의 비균형 클러스터로 SPONGE와 Signed Laplacian의 이론적 분석를 중간 정도로 밀도가 높은 서명된 그래프에서 확장한다.
• 기본 스펙트럼 방법이 실패하는 희소 그래프 영역에서 성능을 향상시키기 위해 SPONGE와 Signed Laplacian의 정규화된 버전을 개발한다.
• 밀도가 높거나 낮은 설정 모두에서 서명된 스토케스틱 블록 모델(Signed Stochastic Block Model, SSBM)에 대한 이론적 보장을 제공한다.
• 정규화의 매개변수 선택을 위한 데이터 기반 프레임워크를 제공하여, 실세계의 희소 서명된 네트워크에서 클러스터링의 강건성을 향상시킨다.

제안 방법

• 희소 그래프에서 스펙트럼 분해를 안정화하기 위해 양성 및 음성 정규화 매개변수(γ⁺, γ⁻)를 도입하여 SPONGE와 대칭적 Signed Laplacian의 정규화된 버전을 제안한다.
• 사회 균형 이론과 일치하는 서명된 목적 함수를 최적화하기 위해 SPONGE sym에서 일반화된 고유값 문제 설정을 사용한다.
• 행렬 편향 이론과 농도 부등식을 적용하여 스펙트럼 갭과 진짜 클러스터 구조로부터의 고유공간 이탈을 bound한다.
• 성능 조정을 위해 정규화 매개변수(γ⁺, γ⁻)에 대한 그리드 서치를 수행하며, 합성 SSBM 데이터를 통한 실증적 검증을 수행한다.
• 모든 클러스터 크기에서 안정성과 확장성을 향상시키기 위해 SPONGE 알고리즘의 정규화된 버전(SPONGE sym)을 도입한다.
• 이론적 bound를 유도하기 위해 서명된 스토케스틱 블록 모델(SSBM)을 기반 생성 모델로 활용한다.

실험 결과

연구 질문

• RQ1 SPONGE sym과 Signed Laplacian 알고리즘이 중간 정도로 밀도가 높은 영역에서 k ≥ 2의 비균형 클러스터로 이론적으로 확장될 수 있는가?
• RQ2 기본 방법이 실패하는 희소 영역에서 서명된 네트워크의 스펙트럼 클러스터링을 어떻게 강건하게 만들 수 있는가?
• RQ3 정규화 매개변수(γ⁺, γ⁻)가 희소 서명된 그래프에서 클러스터링 성능에 미치는 영향은 무엇인가?
• RQ4 서명된 스토케스틱 블록 모델(Signaled Stochastic Block Model) 하에서 정규화된 스펙트럼 클러스터링에 대해 이론적 보장을 확립할 수 있는가?
• RQ5 다양한 클러스터 불균형 및 희소성 수준에서 정규화된 알고리즘의 성능 특성은 어떻게 비교되는가?

주요 결과

• 정규화된 SPONGE sym과 Signed Laplacian 알고리즘은 특히 간선 밀도가 낮을 때(p ≤ 0.003) 희소 그래프 영역에서 상당히 향상된 클러스터링 정확도를 달성한다.
• k ≥ 3이면서 클러스터 크기가 불균형한 경우, SPONGE sym은 모든 다른 방법(비정규화된 버전 포함)보다 조정된 랜드 지수(Adjusted Rand Index) 측면에서 뛰어난 성능을 보인다.
• 정규화된 알고리즘은 클러스터 불균형에 대해 강건하며, 고비율(ρ > 1)에서도 성능 저하가 최소한이다.
• 매개변수 공간의 히트맵은 정규화된 Signed Laplacian에 대해 성능이 뚜렷한 영역을 보이며, 양성 및 음성 하위그래프의 밀도가 다를 경우 γ⁺와 γ⁻의 비대칭적 영향을 시사한다.
• SSBM 하에서 고유공간 이탈과 오류 클러스터링 비율에 대한 이론적 bound를 확립하여, 밀도가 높거나 낮은 영역 모두에서 일관성을 확인한다.
• 정규화 매개변수(γ⁺, γ⁻)에 대한 그리드 서치는 일관된 성능 향상을 이끌어내며, SPONGE sym sparse는 비정규화된 SPONGE sym과 유사한 경향을 보이는 기울기 유사 성능 트렌드를 보인다.