[논문 리뷰] Subspace Clustering using Ensembles of $K$-Subspaces

John Lipor, David Hong외 2명|arXiv (Cornell University)|2017. 09. 14.

Face and Expression Recognition참고 문헌 51인용 수 8

한 줄 요약

이 논문은 랜덤 초기화를 사용한 K-서브스페이스 알고리즘의 여러 실행을 증거 누적 클러스터링 기반으로 통합하는 새로운 기하적 서브스페이스 클러스터링 알고리즘인 앙상블 K-서브스페이스(EKSS)를 제안한다. EKSS는 공감 클러스터링 기반으로 공유 연관성 유사도 행렬을 구성하여 최신의 경험적 성능를 달성하며, 단조성 기반 내적 유사도 모델 하에서 증거 누적 클러스터링 및 K-서브스페이스 변종에 대해 처음으로 이론적 복원 보장을 제공한다.

ABSTRACT

Subspace clustering is the unsupervised grouping of points lying near a union of low-dimensional linear subspaces. Algorithms based directly on geometric properties of such data tend to either provide poor empirical performance, lack theoretical guarantees, or depend heavily on their initialization. We present a novel geometric approach to the subspace clustering problem that leverages ensembles of the K-subspaces (KSS) algorithm via the evidence accumulation clustering framework. Our algorithm, referred to as ensemble K-subspaces (EKSS), forms a co-association matrix whose (i,j)th entry is the number of times points i and j are clustered together by several runs of KSS with random initializations. We prove general recovery guarantees for any algorithm that forms an affinity matrix with entries close to a monotonic transformation of pairwise absolute inner products. We then show that a specific instance of EKSS results in an affinity matrix with entries of this form, and hence our proposed algorithm can provably recover subspaces under similar conditions to state-of-the-art algorithms. The finding is, to the best of our knowledge, the first recovery guarantee for evidence accumulation clustering and for KSS variants. We show on synthetic data that our method performs well in the traditionally challenging settings of subspaces with large intersection, subspaces with small principal angles, and noisy data. Finally, we evaluate our algorithm on six common benchmark datasets and show that unlike existing methods, EKSS achieves excellent empirical performance when there are both a small and large number of points per subspace.

연구 동기 및 목표

• 기하적 서브스페이스 클러스터링 방법의 한계를 해결하기 위해, 일반적으로 낮은 경험적 성능, 이론적 보장 부족, 또는 초기화에 대한 강한 의존성 문제를 해결한다.
• 쌍별 절대 내적의 단조성 변환에 가까운 유사도 행렬에 적용 가능한 일반적인 복원 프레임워크를 개발한다.
• 공감 클러스터링을 통해 클러스터링의 강건성과 정확도를 향상시키는 새로운 앙상블 기반 K-서브스페이스 알고리즘(EKSS)을 설계한다.
• 증거 누적 클러스터링 및 K-서브스페이스 알고리즘의 어떤 변종에 대해서도 처음으로 이론적 복원 보장을 제공한다.
• 특히 서브스페이스당 점의 수가 적거나 많은 도전적인 설정에서 다양한 벤치마크 데이터셋에서 뛰어난 경험적 성능을 입증한다.

제안 방법

• EKSS는 랜덤 초기화를 사용해 K-서브스페이스 알고리즘을 여러 번 실행하고 결과를 공유 연관성 행렬로 집계하는 증거 누적 클러스터링 프레임워크를 활용한다.
• 공유 연관성 행렬의 요소 (i,j) 는 모든 실행 동안 점 i와 점 j가 함께 클러스터링된 횟수를 세며, 이는 유사도 행렬을 형성한다.
• 이 방법은 첫 번째 K-서브스페이스 반복이 데이터 포인트 간 절대 내적의 단조성 함수에 가까운 유사도 행렬 요소를 생성함을 증명한다.
• 이를 통해 EKSS는 최신 알고리즘과 동일한 조건에서 내적 기반 유사도의 단조성에 기반해 이론적 복원 보장을 상속할 수 있다.
• 정규화 후, 유용한 경우 화이트닝 및 차원 축소를 적용하여 인공 및 실세계 데이터셋에 적용한다.
• 공정한 비교를 위해 EKSS는 1000회의 시행을 수행하고 최소 오차를 가진 클러스터링 결과를 선택하며, 각 데이터셋에 맞게 하이퍼파라미터를 튜닝한다.

실험 결과

연구 질문

• RQ1 랜덤 초기화를 사용한 K-서브스페이스 알고리즘의 앙상블은 도전적인 조건에서도 강건하고 정확한 서브스페이스 클러스터링을 달성할 수 있는가?
• RQ2 K-서브스페이스를 사용한 증거 누적 클러스터링은 이론적 복원 보장을 지원할 수 있는 유사도 행렬을 생성하는가?
• RQ3 쌍별 절대 내적의 단조성 변환은 증명 가능하게 올바른 서브스페이스 클러스터링의 기초가 될 수 있는가?
• RQ4 다양한 서브스페이스당 점의 수를 가진 벤치마크 데이터셋에서 EKSS는 최신 기법들보다 뛰어난 성능을 보이는가?
• RQ5 화이트닝 및 차원 축소와 같은 데이터 전처리의 EKSS 및 기타 알고리즘 성능에 미치는 영향은 무엇인가?

주요 결과

• EKSS는 Hopkins-155, Yale, COIL-20, COIL-100, USPS, MNIST-10k를 포함한 여섯 개의 벤치마크 데이터셋에서 최신 기술 수준의 경험적 성능를 달성했다.
• 합성 데이터를 통해, 서브스페이스 간 교차가 크거나 주요 각도가 작거나 노이즈가 많은 환경에서도 뛰어난 성능를 보였다.
• 많은 기존 방법이 실패하는 경우에도, 서브스페이스당 점의 수가 적거나 많을 경우에도 EKSS는 강력한 성능를 유지한다.
• 이론적 분석을 통해 EKSS의 유사도 행렬이 절대 내적의 단조성 변환에 가까운 것으로 밝혀졌으며, 이는 최신 알고리즘과 유사한 조건에서 증명 가능한 복원을 가능하게 한다.
• 이 작업은 증거 누적 클러스터링 및 K-서브스페이스 알고리즘의 어떤 변종에 대해서도 처음으로 이론적 복원 보장을 제공한다.
• Hopkins-155 데이터셋에서 EKSS는 d=3, q=2의 클러스터링 오차를 기록했으며, Yale 데이터셋에서는 d=2, q=6을 기록하여 다양한 데이터 구조에서 뛰어난 성능를 입증했다.