[논문 리뷰] Large-scale Multi-view Subspace Clustering in Linear Time

Zhao Kang, Wang-Tao Zhou외 4명|arXiv (Cornell University)|2019. 11. 21.

Advanced Clustering Algorithms Research참고 문헌 32인용 수 30

한 줄 요약

이 논문은 앵커 기반 그래프 구축과 새로운 그래프 통합 전략을 활용하여 선형 시간 복잡도를 가지는 대규모 다중 시각 부분공간 군집화 방법인 LMVSC를 제안한다. 기존 방법 대비 최대 20배 빠른 계산 시간을 확보하면서도 대규모 데이터셋에서 최신 기술 수준(SOTA)의 군집 정확도를 달성하며, 단일 시각 환경에도 효과적으로 일반화된다.

ABSTRACT

A plethora of multi-view subspace clustering (MVSC) methods have been proposed over the past few years. Researchers manage to boost clustering accuracy from different points of view. However, many state-of-the-art MVSC algorithms, typically have a quadratic or even cubic complexity, are inefficient and inherently difficult to apply at large scales. In the era of big data, the computational issue becomes critical. To fill this gap, we propose a large-scale MVSC (LMVSC) algorithm with linear order complexity. Inspired by the idea of anchor graph, we first learn a smaller graph for each view. Then, a novel approach is designed to integrate those graphs so that we can implement spectral clustering on a smaller graph. Interestingly, it turns out that our model also applies to single-view scenario. Extensive experiments on various large-scale benchmark data sets validate the effectiveness and efficiency of our approach with respect to state-of-the-art clustering methods.

연구 동기 및 목표

• 기존 방법이 O(n²) 또는 O(n³) 복잡도를 가지는 바탕으로 다중 시각 부분공간 군집화(MVSC)에서의 중요한 확장성 격차를 해결한다.
• 대규모 다중 시각 데이터에서 전체 n×n 유사도 그래프를 구축하고 스펙트럴 군집화를 수행하는 계산 병목 현상을 극복한다.
• 다중 시각 및 단일 시각 데이터 모두에서 선형 시간 복잡도를 달성하면서도 높은 군집 정확도를 유지하는 방법을 설계한다.
• 현재 방법들이 너무 느리거나 메모리 소비가 크기 때문에 실생활 빅데이터 응용 분야에 실질적으로 구현하기 어려운 다중 시각 군집화를 실용적으로 구현 가능하게 한다.

제안 방법

• 각 시각에 대해 더 작은 근사 유사도 그래프를 생성하기 위해 앵커 포인트를 사용하여 O(n²) 그래프 구축 비용을 감소시킨다.
• 다양한 시각 전용 앵커 그래프를 통합하여 단일이고 압축된 그래프 표현으로 융합하는 새로운 그래프 통합 메커니즘을 적용한다.
• 전체 데이터 그래프가 아닌 통합된 작은 그래프에서 스펙트럴 군집화를 수행하여 고유값 분해를 크게 가속화한다.
• 앵커 기반 그래프에서 희소 표현을 동시에 학습하고 부분공간 구조를 유지하기 위해 정규화를 포함한 최적화 문제를 수립한다.
• 앵커 기반 표현 학습에서 재구성 오차와 정규화 간의 상호 균형을 조절하기 위해 매개변수 α를 도입한다.
• 모든 시각을 하나의 시각으로 간주하여 단일 시각 군집화에 적응시키며, 선형 복잡도와 높은 성능을 유지한다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에 대해 선형 시간 복잡도를 확보하면서도 군집 정확도를 유지할 수 있는 다중 시각 부분공간 군집화가 가능한가?
• RQ2 다양한 시각 간에 앵커 기반 그래프를 효과적으로 구축하고 통합하여 부분공간 구조를 유지할 수 있는가?
• RQ3 제안된 방법이 대규모 벤치마크에서 기존 최신 기술 수준의 MVSC 방법보다 정확도와 계산 효율성 면에서 뛰어나게 성능을 발휘하는가?
• RQ4 기존의 대규모 접근 방식과 비교하여 동일하거나 더 뛰어난 성능을 내며 단일 시각 부분공간 군집화에 일반화할 수 있는가?

주요 결과

• 가우시안 노이즈가 첨가된 MNIST 데이터셋에서 LMVSC는 55.65%의 정확도를 달성하여 SSCOMP(44.65%)를 능가했으며, 계산 시간을 약 1150초에서 55.17초로 감소시켰다.
• 점성 노이즈 조건에서 LMVSC는 59.20%의 정확도를 기록하여 SSCOMP의 45.60%보다 뚜렷이 높았고, 20배 빠른 속도로 처리되었다.
• 소금과 후추 노이즈 설정에서 LMVSC는 58.89%의 정확도를 달성하여 SSCOMP의 48.16%를 뛰어넘었고, 73.33초 만에 완료되었다.
• 단일 시각 데이터에서 RCV1 데이터셋의 정확도는 k-means의 18.46%에서 LMVSC로 19.29%로 향상되었고, CoverType 데이터셋은 25.05%에서 38.62%로 상승하여 합리적인 런타임을 확보했다.
• LMVSC는 50만 개 이상의 샘플을 포함하는 데이터셋(예: CoverType)까지도 확장 가능했으며, 이 경우 SSCOMP는 24시간 이내에 완료되지 못했고, 다른 방법들은 메모리 부족으로 실패했다.
• 매개변수 분석 결과, 너무 많은 앵커 포인트나 높은 α 값 설정은 성능 저하를 유도함을 확인하여 최적의 튜닝이 강건성 확보에 필수적임을 시사했다.