[논문 리뷰] Sparse Subspace Clustering: Algorithm, Theory, and Applications

Ehsan Elhamifar, Renè Vidal|arXiv (Cornell University)|2012. 03. 05.

Face and Expression Recognition참고 문헌 57인용 수 21

한 줄 요약

이 논문은 높은 차원의 데이터가 낮은 차원의 부분공간들의 합집합에 존재하는 경우에, 각 데이터 포인트를 동일한 부분공간에 속한 다른 포인트들의 희소 선형 조합으로 표현하는 것을 이용하여 부분공간을 군집화하는 Sparse Subspace Clustering (SSC) 알고리즘을 제안한다. 이 방법은 희소 계수를 복원하기 위해 ℓ₁-최소화를 사용하고, 유사도 그래프를 구축하며, 스펙트럼 군집화를 적용하여 소음, 이방성, 누락 데이터에 대해 강건한 성능을 보이며, 운동 및 얼굴 군집화에서 최첨단 성능을 달성한다.

ABSTRACT

In many real-world problems, we are dealing with collections of high-dimensional data, such as images, videos, text and web documents, DNA microarray data, and more. Often, high-dimensional data lie close to low-dimensional structures corresponding to several classes or categories the data belongs to. In this paper, we propose and study an algorithm, called Sparse Subspace Clustering (SSC), to cluster data points that lie in a union of low-dimensional subspaces. The key idea is that, among infinitely many possible representations of a data point in terms of other points, a sparse representation corresponds to selecting a few points from the same subspace. This motivates solving a sparse optimization program whose solution is used in a spectral clustering framework to infer the clustering of data into subspaces. Since solving the sparse optimization program is in general NP-hard, we consider a convex relaxation and show that, under appropriate conditions on the arrangement of subspaces and the distribution of data, the proposed minimization program succeeds in recovering the desired sparse representations. The proposed algorithm can be solved efficiently and can handle data points near the intersections of subspaces. Another key advantage of the proposed algorithm with respect to the state of the art is that it can deal with data nuisances, such as noise, sparse outlying entries, and missing entries, directly by incorporating the model of the data into the sparse optimization program. We demonstrate the effectiveness of the proposed algorithm through experiments on synthetic data as well as the two real-world problems of motion segmentation and face clustering.

연구 동기 및 목표

• 컴퓨터 시각 및 기계 학습에서 흔히 발생하는 다수의 낮은 차원 부분공간에 존재하거나 근접한 고차원 데이터 군집화 문제를 해결하기 위해.
• 사전 처리 없이 소음, 희소 이방성, 누락 항목 등의 데이터 문제에 강건한 군집화 알고리즘을 개발하기 위해.
• 적절한 부분공간 및 데이터 분포 조건 하에서 정확한 희소 표현을 복원할 수 있는 이론적으로 탄탄한 방법을 제공하기 위해.
• 실제 데이터셋인 운동 시퀀스와 얼굴 영상에서 정확도와 계산 효율성 측면에서 기존 부분공간 군집화 방법을 능가하기 위해.
• 예를 들어 희소 이방성과 같은 손상 모델을 최적화 프레임워크에 직접 통합하여 종단 간 강건한 군집화를 가능하게 하기 위해.

제안 방법

• 알고리즘은 ℓ₁-최소화를 사용하여 각 데이터 포인트를 동일한 부분공간에 속한 다른 포인트들의 희소 선형 조합으로 표현하며, 동일한 부분공간에 속한 포인트를 선호한다.
• 희소 계수 행렬에서 유사도 그래프를 구축하며, 간선은 부분공간 소속을 반영한다.
• 스펙트럼 군집화를 그래프에 적용하여 데이터를 기저 부분공간에 해당하는 군집으로 분할한다.
• 계산 가능성을 확보하기 위해 희소 최적화 문제를 볼록 ℓ₁-최소화 프로그램으로 완화한다.
• 소음, 희소 이방성, 누락 데이터에 대한 모델을 최적화 공식에 직접 통합하여 강건성을 확보한다.
• 이론적 분석을 통해 부분공간 간 주요 각도와 데이터 분포 조건이 만족될 경우 정확한 희소 표현이 복원됨을 보였다.

실험 결과

연구 질문

• RQ1 희소 표현이 고차원 데이터에서 동일한 부분공간에 속한 포인트를 효과적으로 식별할 수 있는가?
• RQ2 희소 표현이 정확한 부분공간 구조를 복원할 수 있는 기하학적 및 분포 조건은 무엇인가?
• RQ3 손상된 실세계 데이터에서 제안된 SSC 알고리즘이 최첨단 방법들과 비교해 어떻게 성능을 내는가?
• RQ4 알고리즘이 사전 처리 없이 소음, 희소 이방성, 누락 항목을 처리할 수 있는가?
• RQ5 데이터 문제 존재 시 ℓ₁-최소화를 통한 부분공간 복원에 대한 이론적 보장은 무엇인가?

주요 결과

• Extended Yale B 얼굴 데이터셋에서, SSC는 2명의 주제에 대해 0.00%의 중앙값 군집 오차, 3명에 대해 1.04%, 5명에 대해 2.50%, 8명에 대해 4.49%, 10명에 대해 5.63%를 기록하여 LRR, LRR-H, LRSC, SCC, LSA를 모두 능가했다.
• 운동 분할에 있어서, SSC는 Hopkins 155 데이터셋에서 뛰어난 성능을 보였으며, 부분공간 교차 근처의 데이터와 노이즈가 있는 궤적을 효과적으로 처리했다.
• SSC는 최적화 과정에 손상 모델을 직접 통합함으로써 희소 이방성 및 누락 데이터에 대해 강건성을 보였으며, LSA 및 SCC는 이러한 메커니즘이 없어 비교적 취약했다.
• 알고리즘의 계산 시간은 낮고 확장 가능했으며, 부분공간 차원에 따라 지수적 복잡도를 보이는 SCC를 능가했고, LRR 및 LRSC와 같은 효율적인 볼록 해법기와 유사한 성능을 보였다.
• 이론적 분석을 통해 부분공간 간 충분한 각도 분리와 균일한 데이터 분포 조건이 만족될 경우, 희소 표현이 정확한 부분공간 구조를 복원함을 확인했다.
• 실험 결과, 동일한 부분공간에 속한 데이터 포인트들이 항상 유사도 그래프에서 하나의 연결된 성분을 형성함을 확인하여, 알고리즘의 군집화 신뢰성을 뒷받침했다.