[논문 리뷰] Beyond Linear Subspace Clustering: A Comparative Study of Nonlinear Manifold Clustering Algorithms

Maryam Abdolali, Nicolas Gillis|arXiv (Cornell University)|2021. 03. 19.

Face and Expression Recognition참고 문헌 186인용 수 43

한 줄 요약

이 논문은 비선형 다양체 군집화 알고리즘에 대한 종합적인 비교 연구를 제시하며, 국소성 유지, 커널 기반, 신경망 기반 접근 방식으로 분류한다. 합성 및 실세계 데이터셋에서 대표적인 방법들을 평가한 결과, 후처리 없이 신경망 기반 방법은 종종 성능이 열 劣하며, 커널 및 국소성 유지 방법은 더 강한 경험적 성능과 강인성을 보였다.

ABSTRACT

Subspace clustering is an important unsupervised clustering approach. It is based on the assumption that the high-dimensional data points are approximately distributed around several low-dimensional linear subspaces. The majority of the prominent subspace clustering algorithms rely on the representation of the data points as linear combinations of other data points, which is known as a self-expressive representation. To overcome the restrictive linearity assumption, numerous nonlinear approaches were proposed to extend successful subspace clustering approaches to data on a union of nonlinear manifolds. In this comparative study, we provide a comprehensive overview of nonlinear subspace clustering approaches proposed in the last decade. We introduce a new taxonomy to classify the state-of-the-art approaches into three categories, namely locality preserving, kernel based, and neural network based. The major representative algorithms within each category are extensively compared on carefully designed synthetic and real-world data sets. The detailed analysis of these approaches unfolds potential research directions and unsolved challenges in this field.

연구 동기 및 목표

• 복잡한 비선형 데이터 구조를 모델링하는 데 한계가 있는 선형 부분공간 군집화의 문제를 해결하기 위해.
• 비선형 다각형 군집화 알고리즘을 국소성 유지, 커널 기반, 신경망 기반의 세 가지 주요 범주로 체계적으로 분류하는 분류 체계를 제공하기 위해.
• 이 세 범주에 속하는 대표적인 알고리즘의 성능을 합성 및 실세계 데이터셋에서 경험적으로 비교하기 위해.
• 비선형 다각형 군집화의 핵심 과제와 열린 문제, 즉 하이퍼파rameter 민감도, 확장성, 이론적 보장의 부재를 규명하기 위해.
• 앞으로의 연구를 안내하기 위해, 교차하는 다각형을 군집화하는 것과 노이즈 및 외곽값에 대한 강인성을 향상시키는 데 있어 해결되지 않은 문제들을 부각시키기 위해.

제안 방법

• 비선형 부분공간 군집화 방법을 국소성 유지, 커널 기반, 신경망 기반의 세 가지 범주로 분류하는 새로운 분류 체계를 제안한다.
• 각 범주에서 대표적인 알고리즘인 LMC, KSC, DSC-Net을 검토하고 비교하며, 원래 또는 변환된 공간에서의 자기표현성(self-expressiveness)을 사용한다.
• 표준 선형 SC의 전형적 파이프라인에 따라 학습된 계수 행렬에 스펙트럴 군집화를 적용하여 최종 군집화를 수행한다.
• 국소성 유지 방법에서 임베딩 공간에서 국소적 구조를 유지하기 위해 라플라시안 정규화를 적용한다.
• 커널 방법을 사용하여 데이터를 더 높은 차원의 특징 공간으로 매핑함으로써 선형 군집화가 가능하게 한다.
• 신경망 기반 접근 방식에서 딥 오토에인커를 활용하여 비선형 표현을 학습하며, 잠재 공간에서 자기표현성 성질을 강제로 부여한다.

실험 결과

연구 질문

• RQ1 국소성 유지, 커널 기반, 신경망 기반의 비선형 다각형 군집화 알고리즘의 세 클래스 간 군집 정확도 및 강인성 측면에서의 비교 결과는 어떠한가?
• RQ2 신경망 기반 접근 방식이 사전 처리 없이 부분공간 유지 표현을 얼마나 잘 달성하는가?
• RQ3 비선형 군집화 알고리즘이 이웃 수, 커널 대역폭, 학습 에포크 수와 같은 하이퍼파rameter에 얼마나 민감한가?
• RQ4 기존 비선형 SC 방법에서 주요 계산적 병목 현상은 무엇이며, 특히 n×n 계수 행렬 저장 및 그램 행렬 계산에 기인한가?
• RQ5 기존 비선형 SC 방법은 교차하거나 가까이 위치한 다각형에서 오는 데이터를 신뢰성 있게 군집화할 수 있는가?

주요 결과

• DSC-Net과 같은 신경망 기반 비선형 SC 방법은 잠재 공간에서 자기표현성에 기인한 충분한 인덕티브 바이어스가 부족하여 전처리 단계 없이 부분공간 유지 표현을 생성하지 못하는 경우가 많다.
• 커널 기반 및 국소성 유지 방법은 독립적 또는 잘 분리된 다각형을 가진 합성 데이터에서 일반적으로 신경망 기반 방법보다 성능이 뛰어나다.
• 모든 방법의 성능은 다각형이 가까이 있거나 겹칠 경우 크게 떨어지며, 특히 이웃 및 커널 파라미터에 민감한 국소성 유지 및 커널 기반 방법의 경우 더욱 심각하다.
• 계산 비용은 여전히 주요 병목 현상이며, 이는 이웃 그래프의 O(n²) 복잡도와 n×n 계수 행렬 저장에 기인하여 10,000개 이상의 데이터 포인트를 초월한 확장성에 제약을 가한다.
• 비선형 SC에 대한 이론적 보장이 부족한데, 특히 신경망 기반 방법의 경우 모델 행동을 해석하기 어렵고 잡다한 임베딩에 취약하다.
• 일부 방법이 프로베니우스 노름을 사용해 데이터 피팅을 하므로 노이즈 및 가림 현상에 민감하여, 심각한 오염 및 외곽값에 대한 강인성은 여전히 핵심 과제이다.