[논문 리뷰] Finding Dense Clusters via "Low Rank + Sparse" Decomposition

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|2011. 04. 27.

Complex Network Analysis Techniques참고 문헌 16인용 수 52

한 줄 요약

이 논문은 밀도 높은 클러스터를 그래프에서 탐지하기 위해 볼록 최적화 접근법을 제안한다. 이는 클러스터를 저질서수 + 희소 행렬 분해로 모델링하며, 저질서수 성분은 클러스터 구조를 나타내고, 희소 오차는 누락되거나 추가된 간선을 설명한다. 주요 결과는 확률 모델 하에서 서로소이고 충분히 큰 클러스터는 누락되거나 손상된 간선이 있을지라도 높은 확률로 복원될 수 있음을 보여준다.

ABSTRACT

Finding "densely connected clusters" in a graph is in general an important and well studied problem in the literature \cite{Schaeffer}. It has various applications in pattern recognition, social networking and data mining \cite{Duda,Mishra}. Recently, Ames and Vavasis have suggested a novel method for finding cliques in a graph by using convex optimization over the adjacency matrix of the graph \cite{Ames, Ames2}. Also, there has been recent advances in decomposing a given matrix into its "low rank" and "sparse" components \cite{Candes, Chandra}. In this paper, inspired by these results, we view "densely connected clusters" as imperfect cliques, where imperfections correspond missing edges, which are relatively sparse. We analyze the problem in a probabilistic setting and aim to detect disjointly planted clusters. Our main result basically suggests that, one can find \emph{dense} clusters in a graph, as long as the clusters are sufficiently large. We conclude by discussing possible extensions and future research directions.

연구 동기 및 목표

• 완전한 클리크가 아니며 누락되거나 오류가 있는 간선이 있는 그래프에서 밀집 연결 클러스터를 탐지하기 위해.
• 무작위 그래프에서 클러스터 탐지 문제에 저질서수 및 희소 행렬 분해를 위한 볼록 최적화 방법을 확장하기 위해.
• 서로소 클러스터가 볼록 근사화를 통해 높은 확률로 복원될 수 있는 이론적 조건을 설정하기 위해.
• 두 개의 볼록 프로그램, 즉 '블라인드 접근법'과 부분적인 사전 지식을 활용하는 '지능형 접근법'의 성능을 분석하기 위해.
• 각 간선이 고정된 확률로 독립적으로 관측될 때의 부분 관측 하에서의 클러스터 복원을 연구하기 위해.

제안 방법

• 밀집 클러스터를 저질서수 행렬(완전한 클리크를 나타냄)로 모델링하고, 누락되거나 추가된 간선을 희소 편향으로 간주한다.
• 저질서수 복원을 위해 노름의 합 최소화를, 희소 오차 탐지를 위해 ℓ₁-노름 최소화를 사용하여 행렬 분해에 응용한다.
• 클러스터 위치에 대한 사전 지식 없이도, 인접 행렬의 구조에 의존하여 볼록 프로그램을 푸는 '블라인드 접근법'을 제안한다.
• 부분적인 클러스터 정보를 통합하여 복원 보장을 향상시키는 '지능형 접근법'을 도입하며, 이는 p_min > q 이더라도 p_min ≤ 1/2 인 경우에도 성립한다.
• 집중 불등식과 체르노프 경계를 적용하여 확률적 클러스터 모델 하에서 간선 수의 기대값에서의 편차를 분석한다.
• 이중성과 기하학적 추론을 활용하여, 진짜 저질서수 및 희소 성분이 높은 확률로 볼록 프로그램의 유일한 해임을 증명한다.

실험 결과

연구 질문

• RQ1 인접 행렬이 누락되거나 추가된 간선으로 인해 손상되었을 때, 볼록 최적화를 통해 그래프 내 밀집 클러스터를 어떤 조건에서 복원할 수 있는가?
• RQ2 저질서수 + 희소 분해 프레임워크는 확률적 그래프 모델 하에서 '불완전한 클리크'(즉, 밀집 클러스터)를 성공적으로 탐지할 수 있는가?
• RQ3 클러스터의 크기가 블라인드 접근법과 지능형 접근법에서 성공적인 복원 확률에 어떤 영향을 미치는가?
• RQ4 부분 관측(각 간선이 고정된 확률로 관측됨)이 클러스터 탐지 성능에 어떤 영향을 미치는가?
• RQ5 특히 q > 1/2 인 경우에 p_min ≤ 1/2 이더라도 복원 보장을 확장할 수 있는가?

주요 결과

• 블라인드 접근법은 min_i p_i > 1/2 이고 클러스터가 충분히 크기만 하다면 높은 확률로 클러스터를 복원한다. 특히 k_i ≥ 8√n / (2p_i - 1) 일 때 성립한다.
• 지능형 접근법은 p_min > q 이면, p_min ≤ 1/2 이더라도 부분 클러스터 정보를 최적화에 통합함으로써 복원 보장을 보장한다.
• 부분 관측 하에서도 클러스터는 여전히 복원 가능하지만, 전체 관측과 비교해 더 큰 클러스터 크기가 필요하다.
• 실패 확률의 오차 지수는 Ω(min{1−2q, 2p_min−1}²k_min)이며, 이는 클러스터 크기가 증가함에 따라 실패 확률이 지수적으로 감소함을 나타낸다.
• q > 1/2 인 경우, 해가 진짜 해보다 더 낮은 목표값을 가지는 타당한 해 (L¹, S¹)를 고려하여, 진짜 해가 최적임을 증명한다.
• 이중성과 기하학적 추론을 활용한 이론적 분석을 통해, 제시된 조건 하에서 진짜 (L⁰, S⁰) 분해가 볼록 프로그램의 유일한 해임을 확인한다.