[논문 리뷰] Correlation Adaptive Subspace Segmentation by Trace Lasso

Canyi Lu, Jiashi Feng외 2명|arXiv (Cornell University)|2015. 01. 18.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 상관관계 적응형 부분공간 분할(Correlation Adaptive Subspace Segmentation, CASS)을 제안하며, 추적 라소(trace Lasso)를 사용하여 유사도 행렬 학습에서 동시에 밀도성과 군집 효과를 강제한다. ℓ¹ 및 ℓ² 정규화를 적응적으로 조율함으로써 CASS는 블록 대각 행렬을 생성하여 Extended Yale B 및 MNIST와 같은 벤치마크 데이터셋에서 SSC, LRR, LSR를 초월한다. MNIST에서는 73.80%의 클러스터링 정확도, 5명의 주제에 대한 얼굴 클러스터링에서는 94.03%의 정확도를 달성한다.

ABSTRACT

This paper studies the subspace segmentation problem. Given a set of data points drawn from a union of subspaces, the goal is to partition them into their underlying subspaces they were drawn from. The spectral clustering method is used as the framework. It requires to find an affinity matrix which is close to block diagonal, with nonzero entries corresponding to the data point pairs from the same subspace. In this work, we argue that both sparsity and the grouping effect are important for subspace segmentation. A sparse affinity matrix tends to be block diagonal, with less connections between data points from different subspaces. The grouping effect ensures that the highly corrected data which are usually from the same subspace can be grouped together. Sparse Subspace Clustering (SSC), by using $\ell^1$-minimization, encourages sparsity for data selection, but it lacks of the grouping effect. On the contrary, Low-Rank Representation (LRR), by rank minimization, and Least Squares Regression (LSR), by $\ell^2$-regularization, exhibit strong grouping effect, but they are short in subset selection. Thus the obtained affinity matrix is usually very sparse by SSC, yet very dense by LRR and LSR. In this work, we propose the Correlation Adaptive Subspace Segmentation (CASS) method by using trace Lasso. CASS is a data correlation dependent method which simultaneously performs automatic data selection and groups correlated data together. It can be regarded as a method which adaptively balances SSC and LSR. Both theoretical and experimental results show the effectiveness of CASS.

연구 동기 및 목표

• 기존 부분공간 분할 방법이 동시에 밀도성과 군집 효과를 갖지 못하는 한계를 해결하기 위해.
• 데이터 상관관계에 기반해 표현의 흩어짐과 군집 선택을 적응적으로 균형 잡는 방법을 개발하기 위해.
• 블록 대각 구조를 촉진함으로써 스펙트럼 클러스터링을 위한 유사도 행렬 구축을 향상시키기 위해.
• 복잡한 부분공간 구조를 가진 실제 데이터에서 SSC, LRR, LSR보다 더 높은 분할 정확도를 달성하기 위해.
• 추적 라소의 군집 효과가 부분공간 학습에서 이론적으로나 실증적으로 타당한지를 입증하기 위해.

제안 방법

• CASS는 유사도 행렬 학습을 위해 ℓ¹-노름을 통한 밀도성과 ℓ²-노름을 통한 군집 효과를 결합한 추적 라소 정규화를 사용한다.
• 이 방법은 표현 행렬에 대한 추적 라소 페널티를 최소화하는 볼록 최적화 문제를 해결함으로써, 밀도성과 상관 기반 군집 효과를 동시에 촉진한다.
• 수렴성과 확장성을 보장하기 위해 최적화는 다중 승수 방법(ADMM) 프레임워크를 통해 수행된다.
• 해결책으로부터 유도된 유사도 행렬은 진정한 부분공간 소속을 반영하는 약간의 블록 대각 구조를 띤다.
• 이 방법은 상관관계 적응형으로 설계되어 데이터 구조에 따라 밀도성과 군집 효과 간 균형을 자동 조정한다.
• 이 방법은 스펙트럼 클러스터링 프레임워크 내에서 적용되며, 최종 분할을 위해 학습된 유사도 행렬을 사용한다.

실험 결과

연구 질문

• RQ1 동시에 밀도성과 군집 효과를 강제하는 방법이 부분공간 분할 성능을 향상시킬 수 있는가?
• RQ2 추적 라소 정규화는 ℓ¹ 및 ℓ² 페널티를 어떻게 조율하여 유사도 행렬의 구조를 향상시키는가?
• RQ3 제안된 CASS 방법은 실제 데이터셋에서 SSC, LRR, LSR보다 더 높은 분할 정확도를 달성하는가?
• RQ4 추적 라소의 군집 효과는 부분공간 클러스터링에서 이론적으로 타당하고 실증적으로 관찰 가능한가?
• RQ5 CASS는 제한된 레이블 데이터를 가진 준지도 학습 환경에서 효과적으로 적용될 수 있는가?

주요 결과

• Extended Yale B 데이터베이스에서 CASS는 5명의 주제에 대해 얼굴 클러스터링 정확도 94.03%를 달성하여 LSR 및 기타 기준 모델을 능가했다.
• 8명의 주제 및 10명의 주제 클러스터링에서는 각각 91.41% 및 81.88%의 정확도를 기록하여 SSC 및 LRR보다 뚜렷한 향상을 보였다.
• MNIST 데이터베이스에서는 CASS가 73.80%의 클러스터링 정확도를 기록하여 비교된 모든 방법 중에서 가장 높은 성능을 보였으며, 데이터의 부분공간 적합도가 불완전함에도 불구하고 성과를 달성했다.
• CASS가 학습한 유사도 행렬은 시각적·정량적으로 SSC, LRR, LSR의 결과보다 더 블록 대각에 가까웠으며, 개선된 구조 학습을 확인했다.
• 준지도 학습 환경에서는 모든 학습 데이터 설정에서 CASS가 90% 이상의 분류 정확도를 달성하여, 클러스터링 외적 응용에서도 강건성과 유용성을 입증했다.
• 이론적 분석을 통해 CASS는 부분공간이 상호 독립일 경우 진정한 분할을 복구할 수 있음을 확인하여 일致성의 타당성을 입증했다.