[논문 리뷰] Overlapping Community Detection via Local Spectral Clustering

Yixuan Li, Kun He외 2명|arXiv (Cornell University)|2015. 09. 26.

Complex Network Analysis Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 짧은 무작위 보행에서 유도된 局소 스펙트럼의 선형 조합 안에서 희박한 지표 벡터를 찾음으로써 교차하는 커뮤니티를 식별하는 지역적 스펙트럼 클러스터링 방법인 Lemon을 제안한다. 이 방법은 ℓ¹-벌점이 부여된 선형 계획법을 풀어 최신 기술 수준의 정확도와 효율성을 달성하며, 실행 시간이 그래프 크기 대신 커뮤니티 크기에 비례한다.

ABSTRACT

Large graphs arise in a number of contexts and understanding their structure and extracting information from them is an important research area. Early algorithms on mining communities have focused on the global structure, and often run in time functional to the size of the entire graph. Nowadays, as we often explore networks with billions of vertices and find communities of size hundreds, it is crucial to shift our attention from macroscopic structure to microscopic structure in large networks. A growing body of work has been adopting local expansion methods in order to identify the community members from a few exemplary seed members. In this paper, we propose a novel approach for finding overlapping communities called LEMON (Local Expansion via Minimum One Norm). The algorithm finds the community by seeking a sparse vector in the span of the local spectra such that the seeds are in its support. We show that LEMON can achieve the highest detection accuracy among state-of-the-art proposals. The running time depends on the size of the community rather than that of the entire graph. The algorithm is easy to implement, and is highly parallelizable. We further provide theoretical analysis on the local spectral properties, bounding the measure of tightness of extracted community in terms of the eigenvalues of graph Laplacian. Moreover, given that networks are not all similar in nature, a comprehensive analysis on how the local expansion approach is suited for uncovering communities in different networks is still lacking. We thoroughly evaluate our approach using both synthetic and real-world datasets across different domains, and analyze the empirical variations when applying our method to inherently different networks in practice. In addition, the heuristics on how the seed set quality and quantity would affect the performance are provided.

연구 동기 및 목표

• 대규모 그래프에서 스케일링이 불량한 전역 스펙트럼 클러스터링 방법의 한계를 해결하기 위해 지역적이고 커뮤니티 크기의 계산으로 초점을 이동시키기.
• 커뮤니티가 작고 종종 구성원을 공유하는 대규모 네트워크에서 교차 커뮤니티를 효율적이고 정확하게 탐지할 수 있는 방법 개발하기.
• 짧은 무작위 보행에서 유도된 지역적 스펙트럼 성질을 활용해 빠른 커뮤니티 탐지 가능하게 하여 계산 비용을 그래프 크기 대신 커뮤니티 크기에 의존하도록 줄이기.
• 그래프 라플라시안 고유값을 사용해 커뮤니티의 밀도에 대한 이론적 경계를 제공하여 탐지된 커뮤니티의 구조적 성질를 더 잘 이해하기.
• 다양한 네트워크 유형(합성 및 실제 네트워크 포함)에서 지역 확장 방법의 경험적 행동을 조사하여 강건성과 파rameter 민감도 평가하기.

제안 방법

• 시드 정점에서 시작하는 짧은 무작위 보행에서 유도된 단위 벡터 근사값을 계산하여 지역 스펙트럼을 구성하고, 저차원 불변 부분공간을 형성하기.
• 커뮤니티 탐지 문제를 지역 스펙트럼의 선형 조합 안에서 시드 정점의 지지 집합을 포함하는 희박한 벡터를 찾는 것으로 공식화하기.
• 희박한 지표 벡터를 구하기 위해 ℓ¹-정규화 선형 프로그래밍을 사용하여 희박성과 시드 정점의 포함을 촉진하기.
• 전체 스펙트럼 분해를 계산하지 않기 때문에 전통적 스펙트럼 클러스터링 대비 계산 오버헤드를 크게 줄이는 지역 스펙트럼 방법 적용하기.
• 무작위 보행의 구조를 활용해 자연스럽게 국소 연결 패턴을 강조하여 효과적인 커뮤니티 경계 탐지 가능하게 하기.
• 알고리즘을 고도로 병렬화 가능하고 쉽게 구현 가능하도록 설계하여 실제 배포에 필요한 최소한의 튜닝으로도 가능하게 하기.

실험 결과

연구 질문

• RQ1 기존의 전역 또는 지역 방법보다 지역 스펙트럼 클러스터링을 어떻게 개선하여 교차 커뮤니티를 더 효과적으로 탐지할 수 있는가?
• RQ2 다양한 네트워크 유형에서 지역 확장 알고리즘의 성능에 대해 시드 세트의 품질과 크기가 미치는 영향은 무엇인가?
• RQ3 무작위 보행 길이와 부분공간 차원 수 등의 파라미터가 합성 및 실제 네트워크에서 커뮤니티 탐지의 정확도와 강건성에 미치는 영향은 어떠한가?
• RQ4 인위적으로 생성된 네트워크(예: LFR 벤치마크)와 자연적으로 발생한 실제 네트워크 간에 알고리즘 성능이 어느 정도로 다를까?
• RQ5 지역 스펙트럼 방법의 맥락에서 그래프 라플라시안 고유값을 사용해 커뮤니티의 밀도에 대한 이론적 경계를 유도할 수 있는가?

주요 결과

• Lemon은 합성 LFR 벤치마크 그래프와 실제 네트워크 양쪽에서 최신 기술 수준의 방법들 중 가장 높은 탐지 정확도를 달성한다.
• 알고리즘은 탐지된 커뮤니티 크기에 비례하는 시간 내에 실행되어 심지어 10억 정점 그래프에서도 밀리초 이내로 탐지 가능하다.
• 실제 네트워크에서는 (k=3, l=3) 및 시드 세트 크기 3 조건에서 일관되게 뛰어난 성능을 보이며 파라미터 선택에 대해 강건하다.
• 합성 LFR 그래프에 비해 실제 네트워크에서는 무작위 보행 단계 수와 부분공간 차원 수에 대해 덜 민감하여 실용적 안정성이 더 높음을 시사한다.
• 실제 네트워크에서는 고차수 정점에 더 민감한 편이지만, 이러한 정점들에 대한 초기 확률 질량을 줄임으로써 이로 인한 왜곡을 완화할 수 있다.
• LC 및 DEMON과 비교해 Lemon은 커뮤니티의 과다 분할 또는 과다 융합을 피하여 실제 구조에 더 가까운 결과를 도출한다.