[논문 리뷰] Robust Subspace Clustering via Thresholding

Reinhard Heckel, Helmut Bölcskei|arXiv (Cornell University)|2013. 07. 18.

Face and Expression Recognition인용 수 10

한 줄 요약

이 논문은 구면 거리 기반 최근접 이웃을 사용하여 인접 행렬을 구성함으로써 고차원 데이터를 부분공간의 합집합으로 군집화하는 저복잡도 알고리즘인 Thresholding-based Subspace Clustering(TSC)을 제안한다. 이는 노이즈가 첨가되고 일부 데이터가 누락된 상황에서도 부분공간이 겹치는 경우조차도 이론적으로 성공을 보장하며, 오염자 탐지에 대한 이론적 오차율 보장을 포함한다.

ABSTRACT

The problem of clustering noisy and incompletely observed high-dimensional data points into a union of low-dimensional subspaces and a set of outliers is considered. The number of subspaces, their dimensions, and their orientations are assumed unknown. We propose a simple low-complexity subspace clustering algorithm, which applies spectral clustering to an adjacency matrix obtained by thresholding the correlations between data points. In other words, the adjacency matrix is constructed from the nearest neighbors of each data point in spherical distance. A statistical performance analysis shows that the algorithm exhibits robustness to additive noise and succeeds even when the subspaces intersect. Specifically, our results reveal an explicit tradeoff between the affinity of the subspaces and the tolerable noise level. We furthermore prove that the algorithm succeeds even when the data points are incompletely observed with the number of missing entries allowed to be (up to a log-factor) linear in the ambient dimension. We also propose a simple scheme that provably detects outliers, and we present numerical results on real and synthetic data.

연구 동기 및 목표

• 노이즈가 첨가되고 일부 데이터가 누락된 고차원 데이터를 다룰 수 있는 계산 효율성이 높은 부분공간 군집화 알고리즘을 개발하기.
• 가우시안 노이즈와 누락 데이터 하에서 군집화 성능에 대한 이론적 보장을 제공하기.
• 부분공간 군집화를 위한 이론적으로 정확한 오염자 탐지 체계를 설계하기.
• 군집화 성능에서 부분공간 유사도와 견딜 수 있는 노이즈 수준 간의 상호 관계를 분석하기.
• 기존 방법의 한계를 극복하고 부분공간이 겹치는 경우에도 강건성을 확보하기.

제안 방법

• 구면 거리 기반 최근접 이웃을 사용하여 데이터 포인트 간 상관계수를 임계값 처리함으로써 인접 행렬을 구성한다.
• 임계값 처리된 인접 행렬에 스펙트럴 군집화를 적용하여 데이터 포인트를 부분공간에 할당한다.
• 정규 부분공간과 각 부분공간과 단위 구면이 겹치는 부분에서 무작위로 샘플링하는 반무작위 데이터 모델을 사용한다.
• 집중 불등식과 가우시안 尾부 경계를 활용하여 데이터 포인트 간 내적의 행동을 분석한다.
• 내재 포인트가 올바르게 군집화되고 오염자가 임계값 처리를 통해 탐지될 수 있는 조건을 유도한다.
• 로그-노말 분포 경계에서 유도된 임계값과 최대 내적 값을 비교하는 이중 단계 오염자 탐지 체계를 도입한다.

실험 결과

연구 질문

• RQ1 간단한 임계값 처리 기반 방법이 고차원 데이터에서 가우시안 노이즈가 첨가된 상황에서도 이론적으로 군집화 성능을 달성할 수 있는가?
• RQ2 부분공간 군집화에서 부분공간 유사도와 노이즈 내성 간의 상호 관계는 무엇인가?
• RQ3 각 데이터 포인트에서 선형 수준의 누락된 요소가 존재하는 경우에도 알고리즘이 성공할 수 있는가?
• RQ4 제시된 모델 하에서 이 알고리즘이 높은 확률로 오염자를 성공적으로 탐지할 수 있는가?
• RQ5 기존 연구의 가정과는 달리 부분공간이 겹칠 경우 알고리즘이 어떻게 성능을 유지하는가?

주요 결과

• TSC 알고리즘은 부분공간 유사도와 임베딩 차원에 따라 결정되는 임계값 이하의 노이즈 수준이라면, 가우시안 노이즈가 첨가된 상황에서도 이론적으로 정확한 군집화를 보장한다.
• 누락 패턴에 대한 온건한 가정 하에 각 데이터 포인트에서 로그 요소의 선형 수준까지 누락된 요소가 존재하더라도 알고리즘이 성공한다.
• 오염자 탐지가 높은 확률로 성공하며, 이는 오염자와 내재 포인트 간 최대 내적 값이 내재 포인트-내재 포인트 내적 값과 분리되어 있음을 의미한다.
• 부분공간이 겹칠 경우에도 이론적 분석을 통해 군집 오차의 강건성을 유지함을 보여주었다.
• 이론적 경계는 각 부분공간의 내재 포인트 수가 증가할수록 군집화 및 오염자 탐지 성공 확률이 지수적으로 증가함을 보여준다.
• 계산 효율성과 이론적 성능 간의 유리한 트레이드오프를 달성하였으며, 유사 보장을 유지하면서도 ℓ1 기반 방법인 SSC 및 RSSC보다 복잡도에서 뛰어나다.