[논문 리뷰] Tensor Laplacian Regularized Low-Rank Representation for Non-uniformly Distributed Data Subspace Clustering

Eysan Mehrbani, Mohammad Hossein Kahaei외 1명|arXiv (Cornell University)|2021. 03. 06.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 비선형성과 겹치는 다양체에서 국소성 모델링을 향상시키기 위해 변수적 이웃 크기와 비균일한 데이터 밀도를 포착하는 텐서 초그래프 모델을 통합한 새로운 부분공간 군집화 방법인 텐서 라플라시안 정규화 저질서 표현(TLR-LRR)을 제안한다. 이 방법은 비선형성, 이상치, 기하학적 겹침이 있는 합성 및 실재 데이터셋에서 최신 기술(SOTA) 수준의 군집 정확도를 달성한다.

ABSTRACT

Low-Rank Representation (LRR) highly suffers from discarding the locality information of data points in subspace clustering, as it may not incorporate the data structure nonlinearity and the non-uniform distribution of observations over the ambient space. Thus, the information of the observational density is lost by the state-of-art LRR models, as they take a constant number of adjacent neighbors into account. This, as a result, degrades the subspace clustering accuracy in such situations. To cope with deficiency, in this paper, we propose to consider a hypergraph model to facilitate having a variable number of adjacent nodes and incorporating the locality information of the data. The sparsity of the number of subspaces is also taken into account. To do so, an optimization problem is defined based on a set of regularization terms and is solved by developing a tensor Laplacian-based algorithm. Extensive experiments on artificial and real datasets demonstrate the higher accuracy and precision of the proposed method in subspace clustering compared to the state-of-the-art methods. The outperformance of this method is more revealed in presence of inherent structure of the data such as nonlinearity, geometrical overlapping, and outliers.

연구 동기 및 목표

• 표준 저질서 표현(LRR)이 부분공간 군집화에서 국소성과 비균일한 데이터 분포를 포착하는 데에 한계가 있음을 해결하기 위해.
• 비선형성, 기하학적 겹침, 이상치가 존재하는 상황에서 군집 정확도를 향상시키기 위해.
• 고정된 k개 이웃이 아닌 초그래프 구조를 통해 변동 가능한 이웃 크기를 모델링하기 위해.
• 노이즈에 대한 강건성 향상과 부분공간 표현 향상을 위해 희소성 및 비음성 제약 조건을 통합하기 위해.
• 확장 가능한 계산을 위한 효율적인 최적화 프레임워크를 개발하기 위해 ADMM를 사용하기 위해.

제안 방법

• 고정된 k개 이웃 가정을 대체하여 변수적 이웃 크기를 가진 데이터 관계를 표현하기 위해 텐서 초그래프 모델을 제안한다.
• 초그래프 구조에 기반한 텐서 라플라시안 정규화 항을 도입하여 국소 다양체 정보를 유지한다.
• 핵심 노름(저질서), L1-노름(희소성 및 오차), 그리고 텐서 라플라시안 정규화를 조합한 최적화 문제를 정의한다.
• 계수 행렬에 비음성 제약 조건을 부여하여 이웃의 볼록 조합을 보장함으로써 강건성을 향상시킨다.
• 수렴 보장이 있는 분할 최적화 방법(ADMM)을 사용하여 최적화 문제를 해결한다.
• 다차원 텐서 표현을 사용하여 데이터 포인트 간의 복잡한 고차원 관계를 모델링한다.

실험 결과

연구 질문

• RQ1 비균일한 밀도와 비선형성을 보이는 데이터에서 초그래프 기반 정규화가 부분공간 군집 정확도를 향상시킬 수 있는가?
• RQ2 초그래프를 통한 변동 가능한 이웃 크기 선택이 LRR에서 고정된 k개 이웃 모델보다 우월한가?
• RQ3 텐서 기반 라플라시안 정규화가 저질서 부분공간에서 국소성 유지에 얼마나 기여하는가?
• RQ4 희소성 및 비음성 제약 조건의 통합이 이상치와 겹치는 부분공간에 대한 강건성 향상에 얼마나 기여하는가?
• RQ5 기존 LRR 변종 대비 제안된 방법의 계산 효율성과 확장성은 어떠한가?

주요 결과

• 두 달걀 모양 합성 데이터셋에서 TLR-LRR는 99%의 군집 정확도를 달성하여 ALLRR(79%)와 LRLRR(94%)를 크게 앞서간다.
• 세 원형 데이터셋에서 TLR-LRR는 98%의 정확도를 기록하여 ALLRR(93%)와 LRLRR(45%)를 초월한다.
• Extended YaleB 데이터셋에서 TLR-LRR는 92%의 정확도를 달성하여 LRLRR(88%)와 ALLRR(48%)를 능가한다.
• USPS 데이터셋에서 TLR-LRR는 97%의 정확도를 기록하여 LRLRR(89%)와 ALLRR(47%)를 뛰어넘는다.
• 방법은 O(MN²)의 계산 복잡도를 유지하며, LRLRR와 동일하고 ALLRR(O(KMN²))보다 더 효율적이다.
• 제안된 방법은 합성 및 실재 실험 모두에서 비선형성, 기하학적 겹침, 이상치에 대해 뛰어난 저항성을 보였다.