[논문 리뷰] Graph Connectivity in Noisy Sparse Subspace Clustering

Yining Wang, Yu-Xiang Wang외 1명|arXiv (Cornell University)|2015. 04. 04.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 일반 위치 또는 제한된 고유값 가정 하에, 각 하위공간 간의 각도 거리 기반 병합을 통해 노이즈 있는 희소 하위공간 클러스터링(SSC)에 대한 후처리 절차를 제안하며, 차원이 3보다 큰 하위공간에 대해 처음으로 정확한 클러스터링 보장을 제공한다. 이는 적대적 노이즈가 있는 완전히 결정론적 모델 하에서 증명된다.

ABSTRACT

Subspace clustering is the problem of clustering data points into a union of low-dimensional linear/affine subspaces. It is the mathematical abstraction of many important problems in computer vision, image processing and machine learning. A line of recent work (4, 19, 24, 20) provided strong theoretical guarantee for sparse subspace clustering (4), the state-of-the-art algorithm for subspace clustering, on both noiseless and noisy data sets. It was shown that under mild conditions, with high probability no two points from different subspaces are clustered together. Such guarantee, however, is not sufficient for the clustering to be correct, due to the notorious "graph connectivity problem" (15). In this paper, we investigate the graph connectivity problem for noisy sparse subspace clustering and show that a simple post-processing procedure is capable of delivering consistent clustering under certain "general position" or "restricted eigenvalue" assumptions. We also show that our condition is almost tight with adversarial noise perturbation by constructing a counter-example. These results provide the first exact clustering guarantee of noisy SSC for subspaces of dimension greater then 3.

연구 동기 및 목표

• 표준 SSC가 연결되지 않은 구성요소로 인해 과다 분할되는 문제를 해결하기 위해 노이즈 있는 희소 하위공간 클러스터링에서 그래프 연결성 문제를 다룬다.
• 노이즈에 대한 통계적 가정 없이도 완전히 결정론적 데이터 모델 하에서 노이즈 있는 SSC의 정확한 클러스터링에 대한 이론적 보장을 제공한다.
• 각도 거리 기반 하위공간 병합이라는 단순한 후처리 단계가 높은 확률로 정확한 클러스터링을 복구할 수 있음을 보여준다.
• 적대적 노이즈 편향 하에서의 반례를 통해 유도된 조건이 거의 날카로운지 시험한다.
• 하위공간 차원이 3를 초과할 때 노이즈 있는 SSC에 대해 처음으로 증명 가능한 정확한 클러스터링 보장을 수립한다.

제안 방법

• SSC 그래프의 각 연결된 구성요소에 대해 저차원 하위공간을 계산하고, 작은 각도 거리를 가진 하위공간을 병합하는 후처리 단계를 제안한다.
• 모든 d점 부분집합의 최소 특이값에 대한 제한된 고유값 가정을 사용하여 노이즈에 대한 강건성을 확보한다.
• 동일한 하위공간에 속한 데이터 포인트가 연결성을 해치는 방식으로 선형적으로 종속되지 않도록 보장하기 위해 일반 위치 가정을 적용한다.
• 초기 희소 그래프에 대해 스펙트럼 클러스터링을 적용한 후, 하위공간 유사도 기반으로 병합 단계를 수행한다.
• Lasso 기반 희소 표현을 사용해 초기 그래프를 구축하며, 노이즈에 강건한 스파arsity 파라미터 λ를 조정한다.
• 정규화된 데이터와 추가된 가우시안 노이즈를 사용하여 R^n 내 두 개의 4차원 하위공간을 갖는 시뮬레이션 데이터에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 원래 그래프가 연결되어 있지 않을 경우, 후처리 단계가 노이즈 있는 SSC에서 그래프 연결성을 복구할 수 있는가?
• RQ2 차원이 3를 초과하는 노이즈 있는 SSC에서 정확한 클러스터링이 보장되는 조건은 무엇인가?
• RQ3 특히 적대적 노이즈 하에서 정확한 클러스터링을 위한 이론적 조건은 얼마나 날카로운가?
• RQ4 제시된 방법은 노이즈에 대한 통계적 가정 없이도 완벽한 클러스터링을 달성할 수 있는가?
• RQ5 제한된 고유값 가정은 필수적인가, 아니면 확률적 노이즈 모델 하에서는 약화시킬 수 있는가?

주요 결과

• 제안된 후처리 방법은 노이즈 없는 데이터에서 99%의 클러스터링 정확도를 달성하고, 노이즈 있는 데이터에서는 93%를 기록하며, 원시 Lasso SSC(후처리 없이 77%)에 비해 크게 향상된다.
• 하위공간 탐지 성질(SEP)의 상대적 위반은 낮다(노이즈 있는 데이터에서 0.09), 이는 성능 저하가 SEP 실패 때문이 아니라 그래프 분리 때문임을 시사한다.
• 적대적 노이즈 하에서의 반례를 통해 제한된 고유값 조건이 거의 날카로움을 입증하며, 이를 약화시키면 클러스터링 실패가 발생한다.
• 완전히 결정론적 모델 하에서 차원이 3를 초과하는 노이즈 있는 SSC에 대해 처음으로 정확한 클러스터링 보장을 제공한다.
• 이론적 분석을 통해 일반 위치 또는 제한된 고유값 가정 하에서 후처리 단계가 높은 확률로 진짜 클러스터링을 복구함을 보여준다.
• 희소 표현의 지지 크기를 d+1 이하로 낮출 수 있으며, 단지 주요 하위공간 방향이 유지된다면 병합에 유리하다는 것이 결과적으로 나타난다.