[논문 리뷰] Global and Local Information in Clustering Labeled Block Models

Varun Kanade, Elchanan Mossel외 1명|arXiv (Cornell University)|2014. 01. 01.

Complex Network Analysis Techniques인용 수 2

한 줄 요약

이 논문은 네트워크 구조와 부분적인 노드 레이블 정보를 조합한 레이블이 부여된 스토하스틱 블록 모델을 연구하여 군집화를 수행한다. 희박한 네트워크에서 두 클러스터를 가질 경우, 국소적 군집화는 노드 레이블 수가 충분히 많을 때에만 가능하며, 그렇지 않으면 전역 정보가 필수적이며, 국소 알고리즘은 복원 임계값 이하에서 실패한다. 주요 기여는 높은 클러스터 수의 환경에서 효율적인 국소 복원을 가능하게 하는 데서 노드 레이블 가용성의 결정적 역할을 규명한 것이다.

ABSTRACT

The stochastic block model is a classical cluster-exhibiting random graph model that has been widely studied in statistics, physics and computer science. In its simplest form, the model is a random graph with two equal-sized clusters, with intra-cluster edge probability p, and inter-cluster edge probability q. We focus on the sparse case, i.e. p, q = O(1/n), which is practically more relevant and also mathematically more challenging. A conjecture of Decelle, Krzakala, Moore and Zdeborova, based on ideas from statistical physics, predicted a specific threshold for clustering. The negative direction of the conjecture was proved by Mossel, Neeman and Sly (2012), and more recently the positive direction was proven independently by Massoulie and Mossel, Neeman, and Sly. In many real network clustering problems, nodes contain information as well. We study the interplay between node and network information in clustering by studying a labeled block model, where in addition to the edge information, the true cluster labels of a small fraction of the nodes are revealed. In the case of two clusters, we show that below the threshold, a small amount of node information does not affect recovery. On the other hand, we show that for any small amount of information efficient local clustering is achievable as long as the number of clusters is sufficiently large (as a function of the amount of revealed information).

연구 동기 및 목표

• 희박한 네트워크의 군집화에서 전역적 네트워크 구조와 부분적인 노드 레이블 정보 간의 상호작용을 이해하기 위해.
• 희박한 스토하스틱 블록 모델에서 소수의 노드 레이블이 노출될 경우 효율적인 국소 군집화가 가능할지 조사하기 위해.
• 국소 알고리즘이 클러스터 구조를 복원하는 데 전역 추론을 능가할 수 있는 조건을 규명하기 위해.
• 노드 레이블이 부분적으로 노출되었을 때 국소 군집화의 가능성을 결정하는 이론적 임계값을 설정하기 위해.
• 최소한의 레이블 정보를 사용하여 대칭성 깨짐의 역할을 해결하기 위해.

제안 방법

• 소수의 노드 레이블이 추가로 노출되는 레이블이 부여된 스토하스틱 블록 모델을 제안한다.
• 국소 이웃 구조를 모델링하고 레이블 정보의 흐름을 분석하기 위해 갈튼-워슨 트리 근사법을 사용한다.
• 트리와 스토하스틱 블록 모델 간의 쌍대성 원리를 적용하여 트리에서의 결과를 그래프로 이행한다.
• 조건부 엔트로피와 마르코프 성질을 활용하여 국소 정보가 부족할 경우 전역 정보가 도움이 되지 않는다는 것을 보여준다.
• 트리에서의 브로드캐스트 과정 결과(예: Evans 등 [12])를 적용하여 노드 레이블 예측 오차의 기대값을 한계화한다.
• 집중 불등식과 점근적 분석을 사용하여 n이 크고 레이블 비율 p가 작아지는 극한에서 수렴 속도를 유도한다.

실험 결과

연구 질문

• RQ1 두 클러스터를 가진 희박한 스토하스틱 블록 모델에서 소수의 노출된 노드 레이블이 국소 군집화를 가능하게 할 수 있는가?
• RQ2 노드 레이블이 부분적으로 노출되었을 때 국소 군집화가 가능해지는 조건은 무엇인가?
• RQ3 클러스터 수가 최소한의 레이블 정보로 국소 군집화의 가능성에 영향을 미치는가?
• RQ4 국소 정보가 부족할 경우 군집 복원을 위해 전역 정보가 필수적인가?
• RQ5 노드 레이블의 존재가 대칭성을 깨우치고 고전적 복원 임계값 이하에서도 복원을 가능하게 하는가?

주요 결과

• 두 클러스터의 경우, 복원 임계값 이하에서는 소수의 노출된 노드 레이블이 있더라도 국소 군집화가 불가능하다.
• 레이블 정보의 양이 고정되어 있을 경우, 클러스터 수가 충분히 많아지면 국소 군집화가 가능해진다.
• 만약 (a−b)² < 2(a+b)이면, 국소 정보와 부분적 레이블만을 사용하여 노드의 레이블을 예측할 때의 기대 오차는 1/2 × √(p / (1 − (a−b)²/(2(a+b))))로 유한하게 제한되며, p→0일 때 1/2로 수렴함을 보여준다.
• 국소 정보가 부족할 경우 전역 정보는 노드 레이블의 조건부 엔트로피를 최대값을 초과하여 향상시키지 못한다.
• 전역 그래프와 부분적 레이블을 고려할 때 노드 레이블의 조건부 엔트로피는 국소 정보가 약할 경우 점근적으로 최대가 되며, 이는 전역 구조로부터의 향상이 없다는 것을 의미한다.
• 결과적으로 대칭성 깨짐이 국소 복원에 필수적이며, 이 효과는 트리 구조를 가진 국소 구조를 깰 수 있을 정도로 클러스터 수가 충분히 많을 때에만 효과가 있다.