[논문 리뷰] Clustering Partially Observed Graphs via Convex Optimization

Yudong Chen, Ali Jalali외 2명|arXiv (Cornell University)|2011. 04. 25.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 97

한 줄 요약

이 논문은 부분적으로 관측된 무게 없는 그래프의 클러스터링을 위해 불일치 수를 최소화하는 볼록 최적화 프레임워크를 제안한다—클러스터 내에서 누락된 간선과 클러스터 간에 존재하는 간선을 모두 포함한다. 문제는 부분 관측에서 저질 랭크 및 희소 행렬 분해로 환원되며, 클러스터 크기, 간선 조밀도, 관측 확률에 대한 약한 조건 하에서 정확한 클러스터링 복원이 가능하다. 스토하스틱 블록 모델에서 이론적으로 최적성은 로그 인자까지 유지된다.

ABSTRACT

This paper considers the problem of clustering a partially observed unweighted graph---i.e., one where for some node pairs we know there is an edge between them, for some others we know there is no edge, and for the remaining we do not know whether or not there is an edge. We want to organize the nodes into disjoint clusters so that there is relatively dense (observed) connectivity within clusters, and sparse across clusters. We take a novel yet natural approach to this problem, by focusing on finding the clustering that minimizes the number of "disagreements"---i.e., the sum of the number of (observed) missing edges within clusters, and (observed) present edges across clusters. Our algorithm uses convex optimization; its basis is a reduction of disagreement minimization to the problem of recovering an (unknown) low-rank matrix and an (unknown) sparse matrix from their partially observed sum. We evaluate the performance of our algorithm on the classical Planted Partition/Stochastic Block Model. Our main theorem provides sufficient conditions for the success of our algorithm as a function of the minimum cluster size, edge density and observation probability; in particular, the results characterize the tradeoff between the observation probability and the edge density gap. When there are a constant number of clusters of equal size, our results are optimal up to logarithmic factors.

연구 동기 및 목표

• 간선 정보가 부분적으로 관측된 그래프의 클러스터링 문제를 해결한다—일부 간선은 존재함을 알 수 있고, 일부는 부재임을 알 수 있으며, 나머지는 관측되지 않는다.
• 클러스터 수에 대한 사전 지식이 필요 없이 불일치 수를 최소화하는 클러스터링 방법을 개발한다.
• 최적의 클러스터링을 반환하거나 실패를 탐지하는 이론적으로 정확한 알고리즘을 제공한다. 부분 최적 해를 피한다.
• 식재된 파artition/스토하스틱 블록 모델에서 부분 관측 조건 하에서 정확한 복원이 가능한 이론적 조건을 설정한다.
• 성공적인 클러스터링을 위한 관측 확률과 간선 조밀도 갭 사이의 트레이드오프를 규명한다.

제안 방법

• 관측된 인cidenc 행렬을 이상적인 클러스터 구조를 나타내는 저질 랭크 행렬과 불일치를 나타내는 희소 행렬의 합으로 모델링한다.
• 부분 관측된 요소에 대해 핵노름과 l1-노름 최소화를 통해 볼록 최적화를 이용해 저질 랭크 및 희소 성분을 복원한다.
• 알고리즘은 행렬 분해 문제를 해결한다: ‖L‖_* + λ‖S‖_1 를 최소화하고, P_Ω(A) = P_Ω(L + S) 를 만족한다. 여기서 L 은 저질 랭크이고 S 는 희소하다.
• 불일치 수 최소화 문제를 부분 관측 조건 하에서 강건한 행렬 분해로 환원하는 새로운 감소 기법을 도입한다.
• 이론적 분석은 임계 불확실성 불등식과 행렬 편향 이론을 기반으로 잔차 항의 무한노름을 한계한다.
• 관측 확률과 간선 조밀도 갭이 클러스터 크기 및 그래프 크기와 상대적으로 특정 임계값을 충족할 경우 복원이 보장된다.

실험 결과

연구 질문

• RQ1 사전에 클러스터 수를 지정하지 않고도 부분 관측된 그래프에 대해 볼록 최적화 프레임워크를 통해 정확한 클러스터링을 달성할 수 있는가?
• RQ2 스토하스틱 블록 모델에서 성공적인 복원을 위한 관측 확률, 간선 조밀도 갭, 클러스터 크기에 대한 충분한 조건는 무엇인가?
• RQ3 기존 방법과 비교해 볼 때, 부분 관측 조건 하에서 이론적 보장과 성능 측면에서 본 방법은 어떻게 다른가?
• RQ4 최악의 경우에 이론적으로 최적 복원이 로그 인자까지 유지되는 정도는 어느 정도인가?
• RQ5 불일치 수 최소화 목적함수는 증명 가능성이 있는 볼록 완화를 통해 효과적으로 해결될 수 있는가?

주요 결과

• 제안된 알고리즘은 관측 확률과 간선 조밀도 갭이 p₀ ≥ C log n / K_min 를 만족할 경우 정확한 클러스터링 복원을 보장한다. 여기서 K_min 은 최소 클러스터 크기이다.
• 일정 크기의 동일한 크기의 클러스터에 대해, 이 방법은 복원 임계값에서 로그 인자까지 최적성을 달성한다.
• 이론적 분석은 관측 확률 p₀ 가 간선 조밀도 갭과 클러스터 크기와 상대적으로 충분히 클 경우 알고리즘이 높은 확률로 성공함을 보여준다.
• 일반적인 행렬 분해 결과보다 더 강력한 보장을 제공하며, 클러스터링 문제에 특화된 더 강력한 보장을 제공한다.
• 복원 임계값은 O(log n / K_min) 스케일을 가지며, 이는 알려진 정보 이론적 한계와 로그 인자까지 일치한다.
• 이론적 조건을 만족하지 못하는 데이터에서는 오직 실패가 발생하며, 이는 부분 최적 해가 반환되지 않음을 보장한다.