[논문 리뷰] Accelerated Sparse Subspace Clustering

Abolfazl Hashemi, Haris Vikalo|arXiv (Cornell University)|2017. 10. 31.

Face and Expression Recognition참고 문헌 18인용 수 5

한 줄 요약

이 논문은 고차원 데이터가 부분공간의 합집합 위에 놓여 있을 경우를 고려해, 부분공간을 유지하는 유사도 행렬을 구성하기 위해 가속화된 직교 최소 제곱법(OLS) 변종을 사용하는 빠르고 정확한 알고리즘인 가속화된 희소 부분공간 클러스터링(ACC)을 제안한다. ASSC는 OMP 기반 방법과 유사한 런타임을 보이며, 특히 부분공간 겹침 상황에서 정확도 면에서 크게 뛰어나며, BP 기반 방법과 정확도는 유사하지만 속도는 수 개의 주기 차이로 뛰어나다.

ABSTRACT

State-of-the-art algorithms for sparse subspace clustering perform spectral clustering on a similarity matrix typically obtained by representing each data point as a sparse combination of other points using either basis pursuit (BP) or orthogonal matching pursuit (OMP). BP-based methods are often prohibitive in practice while the performance of OMP-based schemes are unsatisfactory, especially in settings where data points are highly similar. In this paper, we propose a novel algorithm that exploits an accelerated variant of orthogonal least-squares to efficiently find the underlying subspaces. We show that under certain conditions the proposed algorithm returns a subspace-preserving solution. Simulation results illustrate that the proposed method compares favorably with BP-based method in terms of running time while being significantly more accurate than OMP-based schemes.

연구 동기 및 목표

• 대규모 데이터에 대해 느린 편인 기저 탐색(BP) 기반의 희소 부분공간 클러스터링의 계산 비효율성을 해결하기 위해.
• 매우 유사한 부분공간 또는 부분공간 겹침 상황에서 OMP 기반 방법의 열악한 성능을 극복하기 위해.
• 기존 SSC 알고리즘의 대체로 확장 가능하고, 빠르고 정확하며 부분공간 유지 성질을 유지하는 알고리즘 개발을 위해.
• 독립된 부분공간 조건 하에서 부분공간 유지의 이론적 근거를 제공하기 위해.

제안 방법

• 해당 방법은 다른 점들을 사전으로 사용하여 각 데이터 포인트의 희소 표현을 계산하기 위해 가속화된 직교 최소 제곱법(OLS)의 변종을 활용한다.
• 데이터 행렬에서 원소를 탐욕적으로 반복적으로 선택하는 방식으로 희소 표현 문제를 해결함으로써 유사도 행렬을 구성한다.
• 수치적 안정성과 수렴 속도 향상을 위해 수정된 잔차 갱신 및 랭크-노출 QR을 사용한다.
• 최종적으로 얻어진 표현 행렬은 스펙트럼 클러스터링을 위해 유사도 행렬로 사용되며, 이를 통해 최종 클러스터링 해를 도출한다.
• 이 방법은 계산 복잡도가 BP 기반 접근보다 크게 낮아, 확장 가능하고 효율적인 설계가 되어 있다.
• 이론적 분석을 통해 독립된 부분공간 조건 하에서는 해가 부분공간을 유지함을 보여준다.

실험 결과

연구 질문

• RQ1 가속화된 OLS와 같은 빠르고 탐욕적인 알고리즘이, 희소 부분공간 클러스터링에서 볼록 최적화(BP)와 유사한 부분공간 유지 표현을 달성할 수 있는가?
• RQ2 제안된 방법의 성능은 BP 기반 및 OMP 기반 SSC와 비교해 클러스터링 정확도와 런타임 면에서 어떻게 다른가?
• RQ3 부분공간이 독립적이지 않거나 서로 다른 부분공간의 데이터 포인트가 매우 유사한 경우, 제안된 방법이 강건성을 유지하는가?
• RQ4 가속화된 OLS 방법이 어떤 조건에서 부분공간 유지 해를 도출하는가?
• RQ5 제안된 방법은 클러스터링 정확도를 유지하면서 대규모 데이터 세트에 대해 효율적으로 확장 가능한가?

주요 결과

• ASSC는 SSC-OMP와 유사한 런타임을 보이며, 특히 최대 5,000개의 포인트를 포함한 대규모 데이터 세트에서 SSC-BP보다 수 개의 주기 차이로 훨씬 빠르다.
• 독립된 부분공간 상황에서는 ASSC가 SSC-BP와 유사한 부분공간 유지 비율과 오차를 달성하며, SSC-OMP보다 훨씬 높은 정확도를 보인다.
• 부분공간이 의존적 또는 데이터 포인트가 매우 유사한 경우, SSC-OMP 성능은 심각하게 떨어지지만, ASSC는 높은 정확도와 강건성을 유지한다.
• L=2를 사용한 ASSC는 모든 테스트 설정에서 SSC-BP 및 SSC-OMP보다 뛰어난 클러스터링 정확도를 달성한다.
• ASSC의 부분공간 유지 오차는 SSC-OMP보다 일관되게 낮으며, SSC-BP와 유사하여 독립된 부분공간 조건 하에서의 이론적 보장을 확인한다.
• 메서드는 확장 가능하며, 250에서 5,000개의 포인트까지의 데이터 크기에서 일관된 성능을 보여 대규모 데이터에 적합하다.