[논문 리뷰] Optimal Bipartite Network Clustering

Zhixin Zhou, Arash Amini|arXiv (Cornell University)|2018. 03. 15.

Complex Network Analysis Techniques참고 문헌 58인용 수 9

한 줄 요약

이 논문은 일반적인 이분 스토케스틱 블록 모형 하에서 최적의 이분 네트워크 클러스터링을 위한 이단계 스펙트럴 클러스터링 알고리즘을 제안한다. 스펙트럴 초기화와 반복적 의사우도 분류를 조합함으로써 희박한 네트워크에서부터 중간 정도로 조밀한 네트워크에 이르기까지 넓은 범위의 네트워크 희박성 수준에서 약한 일致성과 최적 수렴 속도를 적응적으로 달성하며, 이론적 하한을 통해 최소 최대 최적성(minimax optimality)을 확립한다.

ABSTRACT

We study bipartite community detection in networks, or more generally the network biclustering problem. We present a fast two-stage procedure based on spectral initialization followed by the application of a pseudo-likelihood classifier twice. Under mild regularity conditions, we establish the weak consistency of the procedure (i.e., the convergence of the misclassification rate to zero) under a general bipartite stochastic block model. We show that the procedure is optimal in the sense that it achieves the optimal convergence rate that is achievable by a biclustering oracle, adaptively over the whole class, up to constants. This is further formalized by deriving a minimax lower bound over a class of biclustering problems. The optimal rate we obtain sharpens some of the existing results and generalizes others to a wide regime of average degree growth, from sparse networks with average degrees growing arbitrarily slowly to fairly dense networks with average degrees of order $\sqrt{n}$. As a special case, we recover the known exact recovery threshold in the $\log n$ regime of sparsity. To obtain the consistency result, as part of the provable version of the algorithm, we introduce a sub-block partitioning scheme that is also computationally attractive, allowing for distributed implementation of the algorithm without sacrificing optimality. The provable algorithm is derived from a general class of pseudo-likelihood biclustering algorithms that employ simple EM type updates. We show the effectiveness of this general class by numerical simulations.

연구 동기 및 목표

• 이분 네트워크 클러스터링을 위한 계산적으로 효율적이고 통계적으로 최적의 알고리즘을 개발하는 것.
• 일반적인 이분 스토케스틱 블록 모형 하에서 이클러스터링(biclustering)에 대해 약한 일치성과 최적 수렴 속도를 확립하는 것.
• 이클러스터링 문제의 기본 통계적 한계를 특징짓는 최소 최대 하한(minimax lower bound)을 도출하는 것.
• 기존의 정확한 복원 임계값 결과를 더 넓은 평균 차수 성장 범위로 일반화하는 것, 특히 천천히 증가하는 경우부터 √n 차수에 이르기까지 포함한다.
• 새로운 부분 블록 분할 기반 구조를 통해 통계적 최적성을 훼손하지 않고 분산 구현을 가능하게 하는 것.

제안 방법

• 이단계 알고리즘: 스펙트럴 클러스터링을 통한 초기화 후, EM 유사 업데이트를 사용한 의사우도 분류의 두 번의 반복.
• 최적성을 유지하면서 분산 계산을 가능하게 하는 증명 가능한 부분 블록 분할 기반 구조의 사용.
• SBM에서 계산이 불가능한 우도 계산을 피하기 위해 대체 우도를 사용한 의사우도 최대화의 적용.
• 클러스터 간 구별 가능성과 일致성을 보장하기 위해 체르노프 발산(Chernoff divergence)을 기반으로 한 이론적 분석.
• 제안된 방법의 통계적 최적성을 입증하기 위해 최소 최대 하한의 유도.
• 포아송 근사와 농도 부등식을 사용하여 우도 비율 검정에서의 오류 확률을 근사하는 것.

실험 결과

연구 질문

• RQ1 계산적으로 효율적인 알고리즘이 이분 네트워크 클러스터링에서 최적의 통계적 성능을 달성할 수 있는가?
• RQ2 일반적인 SBM 가정 하에서 이분 네트워크의 이클러스터링 문제에 대한 기본 통계적 한계(최소 최대 속도)는 무엇인가?
• RQ3 제안된 방법이 넓은 범위의 네트워크 희박성 수준에서 최적 수렴 속도를 달성하는가?
• RQ4 최적성을 잃지 않고 알고리즘을 분산 방식으로 구현할 수 있는가?
• RQ5 비대칭적인 클러스터 크기와 비대칭 네트워크 설정에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 미약한 일치성을 달성하며, 온건한 정규성 조건 하에서 오분류율이 0으로 수렴한다.
• 방법은 상수의 차수까지 최적 수렴 속도를 확보하며, 전체 이클러스터링 문제 클래스에서 최소 최대 하한과 일치한다.
• 최적 속도는 이전 결과를 더욱 날카롭게 하고 일반화하여 평균 차수가 임의로 천천히 증가하는 경우, √n까지 포함하며, 정확한 복원을 위한 log n 영역도 포함한다.
• 알고리즘은 기존의 log n 희박성 영역에서의 정확한 복원 임계값을 특수한 경우로 회복한다.
• 부분 블록 분할 기반 구조는 통계적 최적성을 훼손하지 않고 분산 구현을 가능하게 한다.
• 수치 시뮬레이션은 이 틀에서 유도된 일반적인 의사우도 기반 이클러스터링 알고리즘의 효과성을 확인한다.