[논문 리뷰] Large-Scale Subspace Clustering via k-Factorization

Jicong Fan|arXiv (Cornell University)|2020. 12. 08.

Face and Expression Recognition참고 문헌 39인용 수 5

한 줄 요약

이 논문은 구조적 희박성과 함께 데이터를 직접 k개의 부분공간으로 인수분해하는 선형 복잡도 방법인 k-요소 인수분해 부분공간 군집화(k-FSC)를 제안한다. 이는 유사도 행렬 구축과 스펙트럴 군집화를 생략하며, 대규모, 노이즈가 많은, 스트리밍 데이터에서 최신 기술 수준의 정확도와 효율성을 달성한다. 확장 기능을 통해 온라인 및 샘플 외 군집화도 지원한다.

ABSTRACT

Subspace clustering (SC) aims to cluster data lying in a union of low-dimensional subspaces. Usually, SC learns an affinity matrix and then performs spectral clustering. Both steps suffer from high time and space complexity, which leads to difficulty in clustering large datasets. This paper presents a method called k-Factorization Subspace Clustering (k-FSC) for large-scale subspace clustering. K-FSC directly factorizes the data into k groups via pursuing structured sparsity in the matrix factorization model. Thus, k-FSC avoids learning affinity matrix and performing eigenvalue decomposition, and has low (linear) time and space complexity on large datasets. This paper proves the effectiveness of the k-FSC model theoretically. An efficient algorithm with convergence guarantee is proposed to solve the optimization of k-FSC. In addition, k-FSC is able to handle sparse noise, outliers, and missing data, which are pervasive in real applications. This paper also provides online extension and out-of-sample extension for k-FSC to handle streaming data and cluster arbitrarily large datasets. Extensive experiments on large-scale real datasets show that k-FSC and its extensions outperform state-of-the-art methods of subspace clustering.

연구 동기 및 목표

• 유사도 행렬 계산과 스펙트럴 군집화에 의존하는 전통적인 부분공간 군집화 방법의 높은 시간 및 공간 복잡도 문제를 해결한다.
• 큰 유사도 행렬을 저장하고 계산할 필요 없이 대규모 데이터셋에 효과적인 군집화를 가능하게 한다.
• 실제 응용에서 흔한 희박한 노이즈, 이방성, 누락 데이터, 스트리밍 데이터를 처리할 수 있는 방법을 개발한다.
• 비볼록, 비연속적인 k-FSC 모델에 대한 이론적 보장과 효율적인 최적화를 제공한다.
• 임의로 큰 또는 동적으로 변화하는 데이터셋을 다룰 수 있도록 k-FSC를 온라인 및 샘플 외 설정으로 확장한다.

제안 방법

• 유사도 행렬을 생성하지 않고도 데이터를 k개의 군집(각각 k개의 부분공간에 대응)으로 직접 인수분해하는 그룹 희박 행렬 인수분해 모델을 제안한다.
• 군집 간의 그룹 구조를 강제하기 위해 인수분해에 구조적 희박성을 도입하며, 최적화는 저질서, 그룹 희박 해를 목표로 한다.
• 비볼곡, 비연속 최적화 문제를 해결하기 위해 수렴 보장을 갖춘 효율적인 분할-강하법(ADMM) 알고리즘을 사용한다.
• 대규모 데이터셋에 대응하기 위해 데이터를 배치 또는 순차적으로 처리하는 k-FSC-MB(미니배치) 및 k-FSC-L(온라인) 변종을 도입한다.
• 희박한 노이즈, 이방성, 누락 데이터를 처리하기 위해 L1-노름 정규화를 통합함으로써 k-FSC를 강건한 군집화로 확장한다.
• 학습된 인수분해를 기반으로 새로운 데이터 포인트를 군집에 할당하는 맵핑을 학습함으로써 샘플 외 확장을 제공한다.

실험 결과

연구 질문

• RQ1 구조적 희박성을 갖는 직접적인 행렬 인수분해 접근법이 선형 시간 및 공간 복잡도를 유지하면서도 최신 기술 수준의 부분공간 군집화 정확도를 달성할 수 있는가?
• RQ2 기존 스펙트럴 군집링 방법이 계산 복잡도로 인해 실패하는 대규모 데이터셋에서 k-FSC는 어떻게 성능을 내는가?
• RQ3 사전 처리 없이도 k-FSC는 실세계 데이터 과제인 희박한 노이즈, 이방성, 누락 데이터를 효과적으로 처리할 수 있는가?
• RQ4 k-FSC의 온라인 및 샘플 외 확장 기능은 스트리밍 및 임의로 큰 데이터 시나리오에서 어떻게 성능을 내는가?
• RQ5 k-FSC 모델이 진정한 부분공간 구조를 복원하는 데 효과적인 이론적 근거는 무엇인가?

주요 결과

• Epileptic 및 Postures 데이터셋에서 k-FSC는 S5C 및 S3COMP-C와는 달리 높은 정확도(ACC)와 정규화 상호정보량(NMI)을 기록했으며, 최신 기술 수준의 성능을 달성했다.
• Covtype 및 PokerHand 데이터셋에서 k-FSC는 Covtype에서 43.95% ACC와 5.59% NMI를 기록했으며, PokerHand에서는 21.82% ACC를 기록했고, SSSC 및 LSC-K를 포함한 모든 베이스라인보다 뚜렷이 뛰어났다.
• Postures 데이터셋에서 k-FSC-MB와 k-FSC-L은 각각 9.1초와 5.9초의 학습 시간을 기록했으며, k-FSC의 173.9초 및 S3COMP-C의 755.3초보다 훨씬 빠르면서도 경쟁 가능한 정확도를 유지했다.
• k-FSC의 온라인 및 샘플 외 확장 기능은 메모리에 담을 수 없을 정도로 큰 데이터셋에서도 효과적인 군집화를 가능하게 하여, 전통적 방법을 뛰어넘는 확장성을 입증했다.
• k-FSC는 희박한 노이즈 및 누락 데이터에 대해 강건성을 보였으며, 다양한 수준의 손상이 있는 실세계 데이터셋에서 성능이 일관되게 유지되었다.
• 제안된 알고리즘은 실무에서 신뢰성 있게 수렴했으며, 최적화 절차에 대한 이론적 수렴 보장이 확립되었다.