[논문 리뷰] Convex optimization for the planted k-disjoint-clique problem

Brendan Ames, Stephen A. Vavasis|arXiv (Cornell University)|2010. 08. 17.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 6

한 줄 요약

이 논문은 잡음으로 인해 흐려진 그래프 내에서 $k$개의 분리된 식재된 클리크를 정확하게 복원하기 위해 준선형 프로그래밍을 통한 볼록 최적화 방법을 제안한다. 이는 클리크가 충분히 크고, 잡음이 공격자에 의한 것(에지 수가 유한)이거나 무작위일 경우(고정된 에지 확률)에, 높은 확률로 진짜 클리크를 복원함을 증명한다. 이는 최대 클리크 문제에 대한 이전 결과를 $k$-분리 클리크 설정으로 확장한다.

ABSTRACT

We consider the k-disjoint-clique problem. The input is an undirected graph G in which the nodes represent data items, and edges indicate a similarity between the corresponding items. The problem is to find within the graph k disjoint cliques that cover the maximum number of nodes of G. This problem may be understood as a general way to pose the classical `clustering' problem. In clustering, one is given data items and a distance function, and one wishes to partition the data into disjoint clusters of data items, such that the items in each cluster are close to each other. Our formulation additionally allows `noise' nodes to be present in the input data that are not part of any of the cliques. The k-disjoint-clique problem is NP-hard, but we show that a convex relaxation can solve it in polynomial time for input instances constructed in a certain way. The input instances for which our algorithm finds the optimal solution consist of k disjoint large cliques (called `planted cliques') that are then obscured by noise edges and noise nodes inserted either at random or by an adversary.

연구 동기 및 목표

• 노이즈 데이터가 존재하는 상황에서 NP-난이도의 $k$-분리 클리크 문제, 즉 최대 클리크 문제의 일반화를 다루기 위해.
• 공격자 또는 무작위 노이즈에 의해 가려진 식재된 클리크를 정확히 복원할 수 있는 다항시간 볼록 근사화를 개발하기 위해.
• 준선형 프로그래밍 근사화가 높은 확률로 최적의 $k$-분리 클리크 하위그래프를 복원할 수 있는 이론적 조건을 설정하기 위해.
• 최대 클리크 문제에 대한 이전 결과를 더 일반적인 $k$-클리크 군집 설정으로 확장하기 위해.
• 노이즈 속에 숨겨진 조밀한 하위구조를 가진 데이터에서 강건한 군집화를 위한 프레임워크를 제공하기 위해.

제안 방법

• 인cidience 행렬 위에서 비볼록 조합 최적화 문제로 $k$-분리 클리크 문제를 수식화한다.
• 비음수 정의 행렬, 차수 제약, 추적 값이 $k$와 같고, 입력 그래프의 흐리기와 일치하는 흐리기 조건을 갖는 준선형 프로그래밍(SDP)으로 문제를 완화한다.
• 단일 랭크 행렬 제약의 볼록 근사화를 사용하여, 행렬 $X \succeq 0$, $\mathrm{tr}(X) = k$, 그리고 $[A_G]_{ij} = 0$ 이면 $X_{ij} = 0$ 인 조건으로 분리된 클리크를 모델링한다.
• 무작위 행렬 이론을 적용하여, 클리크 간 잡음에 해당하는 비대각선 블록 행렬의 스펙트럼 노름을 한계한다.
• 집중 부등식과 행렬 편향 이론을 활용하여, 무작위 노이즈 모델 하에서 확률적 복원 보장을 유도한다.
• 합성 그래프에 식재된 클리크를 대상으로 복원 성능을 수치적으로 평가하기 위해 MATLAB의 SDPNAL 솔버를 사용한다.

실험 결과

연구 질문

• RQ1 어떤 조건 하에서 볼록 근사화가 식재된 클리크와 추가된 잡음이 있는 그래프에서 $k$개의 분리 클리크를 정확히 복원할 수 있는가?
• RQ2 알고리즘이 식재된 클리크를 복원할 수 있도록 공격자에 의한 에지 수는 얼마나 허용할 수 있는가?
• RQ3 에지가 고정된 확률 $p$로 독립적으로 추가될 경우, 높은 확률으로 복원하기 위해 필요한 클리크 크기는 얼마인가?
• RQ4 이론적 경계가 시뮬레이션에서 실질적인 성능과 일치하는가?
• RQ5 이론적 보장이 숨겨진 조밀한 하위그래프를 가진 실제 세계의 군집 시나리오로 얼마나 확장될 수 있는가?

주요 결과

• 공격자에 의한 잡음 에지 수가 $O(\hat{r}^2)$ 이하일 경우, 준선형 프로그래밍 근사화는 식재된 $k$-분리 클리크 하위그래프를 정확히 복원한다. 여기서 $\hat{r}$은 최소 클리크 크기이다.
• 무작위 잡음의 경우, 에지 확률이 $p$일 때, 정리 4.5의 이론적 경계 오른쪽 항이 $\hat{r}$ 이하이면, 알고리즘이 식재된 클리크를 지수적으로 1에 가까운 확률로 복원한다.
• 시뮬레이션 결과, 이론적 임계값 이하의 클리크 크기에서도 복원이 이루어지는 것으로 나타나, 이론적 경계가 보수적으로 작용할 수 있음을 시사한다.
• 실제 복원 비율은 특히 $N$이 크고 $p$가 중간일 경우 이론적 예측과 매우 유사하게 나타난다.
• 무작위 잡음 하에서 $N^{1/4}$개의 크기 $\Omega(N^{1/2})$의 식재된 클리크를 성공적으로 복원하여, 이론적 스케일링을 확인한다.
• 이론적 분석을 통해 클리크 간 잡음 블록의 스펙트럼 노름이 $O(\sqrt{r_s / r_q})$ 이하로 제한됨을 보여주며, 클리크가 충분히 크면 복원이 가능함을 입증한다.