[논문 리뷰] A Theoretical Analysis of Noisy Sparse Subspace Clustering on Dimensionality-Reduced Data

Yining Wang, Yu-Xiang Wang외 1명|arXiv (Cornell University)|2016. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 13

한 줄 요약

이 논문은 완전히 결정론적 모델 하에서 차원 감소된 데이터에 대한 희소 부분공간 클러스터링(SSC)의 이론적 분석을 제공하며, 다양한 차원 감소 기법—가우시안 랜덤 프로젝션, FJLT, 스케칭, 균일 샘플링—을 사용할 경우 SSC의 성공 조건을 증명적으로 확립한다. 이는 클러스터링 성능을 유지하는 데 기여한다. 또한 노이즈가 추가된 프로젝션을 사용하는 비밀성 보장된 SSC에 대한 유틸리티와 프라이버시 보장을 수립한다.

ABSTRACT

Subspace clustering is the problem of partitioning unlabeled data points into a number of clusters so that data points within one cluster lie approximately on a low-dimensional linear subspace. In many practical scenarios, the dimensionality of data points to be clustered are compressed due to constraints of measurement, computation or privacy. In this paper, we study the theoretical properties of a popular subspace clustering algorithm named sparse subspace clustering (SSC) and establish formal success conditions of SSC on dimensionality-reduced data. Our analysis applies to the most general fully deterministic model where both underlying subspaces and data points within each subspace are deterministically positioned, and also a wide range of dimensionality reduction techniques (e.g., Gaussian random projection, uniform subsampling, sketching) that fall into a subspace embedding framework (Meng & Mahoney, 2013; Avron et al., 2014). Finally, we apply our analysis to a differentially private SSC algorithm and established both privacy and utility guarantees of the proposed method.

연구 동기 및 목표

• 차원 감소를 겪은 데이터에 대해 희소 부분공간 클러스터링(SSC)의 공식적인 성공 조건을 확립하는 것.
• 부분공간과 데이터 포인트가 확률적으로 생성되는 것이 아니라 결정론적으로 배치된 완전히 결정론적 모델 하에서 SSC를 분석하는 것.
• 가우시안 랜덤 프로젝션, FJLT, 스케칭, 균일 특징 샘플링을 포함한 다양한 차원 감소 방법에 대한 이론적 보장을 확장하는 것.
• 노이즈가 추가된 프로젝션을 사용하는 비밀성 보장된 SSC의 유틸리티와 프라이버시 분석을 제공하는 것.
• 내재된 부분공간 랭크에 대해 다항식의 저차수 정도로 증가하는 차원 감소된 차원이 유지될 경우, SSC가 저차원으로 투영된 후에도 클러스터링 성능을 유지할 수 있음을 보여주는 것.

제안 방법

• 부분공간과 데이터 포인트의 결정론적 모델을 사용하여, 차원 감소된 데이터에서 SSC를 분석하는 이론적 프레임워크를 제안한다.
• 서브스페이스 임bedding 이론(Meng & Mahoney, 2013; Avron et al., 2014)을 적용하여, 차원 감소가 SSC의 올바른 클러스터 구조 복원 능력에 미치는 영향을 분석한다.
• 행렬 농도 부등식(예: 비교교환 베르누이, 행렬 가우시안 급수)을 사용하여 랜덤 프로젝션에서 발생하는 편향 행렬의 스펙트럼 노름을 경계한다.
• 투영된 부분공간 프로젝터가 스케일된 항등행렬에서 벗어나지 않도록 하는 경계를 유도하여, 부분공간의 기하학적 구조가 투영 후에도 유지됨을 보장한다.
• 가우시안 노이즈를 랜덤 프로젝션에 추가하여 비밀성 보장된 SSC 버전을 도입하고, 그 비밀성과 유틸리티의 상호 교환 관계를 분석한다.
• 고확률적으로, 투영된 데이터가 SSC가 성공하기 위해 요구하는 자기 표현 구조를 유지함을 증명한다.

실험 결과

연구 질문

• RQ1 결정론적 모델 하에서 차원 감소된 데이터에 대해 희소 부분공간 클러스터링(SSC)이 증명 가능한 성공 조건을 만족하는 조건은 무엇인가?
• RQ2 가우시안 랜덤 프로젝션, FJLT, 또는 스케칭을 통해 데이터가 투영될 경우 SSC의 성능은 어떻게 저하되거나 유지되는가?
• RQ3 균일 특징 샘플링(예: 결측 데이터의 경우)은 SSC가 요구하는 클러스터링 구조를 유지할 수 있는가?
• RQ4 노이즈가 추가된 랜덤 프로젝션을 통해 SSC에 비밀성 보장을 적용할 경우, 프라이버시-유틸리티 상호 교환 관계는 어떻게 되는가?
• RQ5 내재된 부분공간의 랭크에 비추어 볼 때, SSC가 성공하기 위해 필요한 최소 투영 차원은 얼마인가?

주요 결과

• SSC는 최대 내재된 부분공간 랭크에 대해 다항식의 저차수 정도로 증가하는 투영 차원을 가질 경우 성공한다. 즉, $ p = O( ext{poly}(r_{ ext{max}}) ext{polylog}(N)) $이다.
• 균일 특징 샘플링(결측 데이터의 경우)은 데이터가 비일관성 조건을 만족하고 샘플링 비율이 충분히 높을 경우 성공한다. 이 경우 $ p = O( ext{poly}(r_{ ext{max}}) ext{polylog}(d)) $이다.
• FJLT나 스케칭을 사용한 차원 감소는, 투영된 차원이 부분공간 랭크에 비해 충분히 클 경우, SSC의 클러스터링 구조를 고확률로 유지한다.
• 제안된 비밀성 보장된 SSC 버전은 적절하게 校정된 가우시안 노이즈를 사용하여 $ ho $-비밀성 보장(privacy)을 달성하며, 유틸리티 손실은 부분공간의 비일관성과 투영된 차원에 따라 경계된다.
• 고확률 $ 1 - rac{ ho}{2} $ 에서, 투영된 부분공간 프로젝터는 $ p $ 가 증가함에 따라 $ orm{U_OmegaU_Omega^ op - rac{p}{d}I} o 0 $ 를 만족하여 구조적 유지 보장을 보장한다.
• 분석 결과, 편향 행렬의 스펙트럼 노름은 $ Oig(rac{r' ho_0}{d}ig) $ 이하로 경계되며, 여기서 $ r' $ 은 부분공간 랭크이고 $ ho_0 $ 는 비일관성 파라미터이다. 이는 자기 표현의 안정적 복원을 보장한다.