[논문 리뷰] Learning Robust Subspace Clustering

Qiang Qiu, Guillermo Sapiro|arXiv (Cornell University)|2013. 08. 01.

Face and Expression Recognition참고 문헌 31인용 수 5

한 줄 요약

이 논문은 하위공간 내에서 저질서 구조를 복원하고 하위공간 간의 분리성 향상을 위해 선형 변환을 학습하는 강건한 부분공간 군집화 프레임워크를 제안한다. 행렬 질량의 볼록 대체물인 핵노름을 최적화하여, 실제 데이터에 손상이 가해진 경우에도 기존 최첨단 방법보다 뛰어난 성능을 보이며 얼굴 및 동작 분할 데이터셋에서 군집 정확도를 향상시킨다.

ABSTRACT

We propose a low-rank transformation-learning framework to robustify subspace clustering. Many high-dimensional data, such as face images and motion sequences, lie in a union of low-dimensional subspaces. The subspace clustering problem has been extensively studied in the literature to partition such high-dimensional data into clusters corresponding to their underlying low-dimensional subspaces. However, low-dimensional intrinsic structures are often violated for real-world observations, as they can be corrupted by errors or deviate from ideal models. We propose to address this by learning a linear transformation on subspaces using matrix rank, via its convex surrogate nuclear norm, as the optimization criteria. The learned linear transformation restores a low-rank structure for data from the same subspace, and, at the same time, forces a high-rank structure for data from different subspaces. In this way, we reduce variations within the subspaces, and increase separations between the subspaces for more accurate subspace clustering. This proposed learned robust subspace clustering framework significantly enhances the performance of existing subspace clustering methods. To exploit the low-rank structures of the transformed subspaces, we further introduce a subspace clustering technique, called Robust Sparse Subspace Clustering, which efficiently combines robust PCA with sparse modeling. We also discuss the online learning of the transformation, and learning of the transformation while simultaneously reducing the data dimensionality. Extensive experiments using public datasets are presented, showing that the proposed approach significantly outperforms state-of-the-art subspace clustering methods.

연구 동기 및 목표

• 낮은 차원의 부분공간 가정을 위반하는 손상되거나 비이상적인 데이터가 존재하는 상황에서 부분공간 군집화의 과제를 해결한다.
• 각 부분공간 내에서 저질서 구조를 복원하고 부분공간 간 질서를 증가시키기 위해 선형 변환을 학습하는 프레임워크를 개발한다.
• 학습된 변환을 강건한 군집화 파ip라인에 통합하여 기존 부분공간 군집화 방법의 성능을 향상시킨다.
• 대규모 또는 고차원 데이터에 대한 확장성과 효율성을 확보하기 위해 변환 학습의 온라인 및 차원 감소 변형을 가능하게 한다.
• 데이터에 특화된 특징을 학습함으로써 다른 분류 및 군집 작업으로의 확장이 가능한 통합적 접근을 제공한다.

제안 방법

• 변환 행렬 T가 하위공간 내 데이터 행렬의 핵노름을 최소화하도록 하여, 부분공간 군집화를 저질서 변환 학습 문제로 재구성한다.
• 행렬 질량의 볼록 대체물로 핵노름을 사용하여 효율적인 최적화와 노이즈 및 이방성에 대한 강건성을 확보한다.
• 동일한 하위공간에서의 데이터는 저질서 구조를, 다른 하위공간에서의 데이터는 고질서 구조를 유도하는 목적 함수를 설계한다.
• 강건한 주성분 분석과 희소 모델링을 융합하여 개선된 군집화를 위한 새로운 방법인 강건한 희소 부분공간 군집화(R-SSC)에 학습된 변환을 통합한다.
• 온라인 학습을 위해 미니배치 경사하강법와 온난 재시작을 사용하여 대규모 데이터셋에 대한 확장성을 확보한다.
• 변환 행렬 T의 크기를 r×d로 제약하여 동 同시에 변환과 차원 감소를 수행함으로써 압축 감지 스타일의 차원 감소를 가능하게 한다.

실험 결과

연구 질문

• RQ1 실제 데이터에서 이상적인 하위공간에서 벗어나는 경우, 학습된 선형 변환이 저질서 구조를 효과적으로 복원할 수 있는가?
• RQ2 하위공간 내에서 저질서, 하위공간 간에서 고질서 구조를 향상시키는 변환을 학습할 경우 군집 정확도는 어떻게 향상되는가?
• RQ3 제안된 강건한 부분공간 군집화(RSC) 프레임워크는 SSC와 같은 최첨단 부분공간 군집화 방법을 얼마나 향상시킬 수 있는가?
• RQ4 군집 성능을 유지하면서 변환 학습을 온라인 처리 및 차원 감소에 적응시킬 수 있는가?
• RQ5 낮은 계산 비용으로 높은 군집 정확도를 달성하기 위해 변환 행렬 T의 최적 크기는 무엇인가?

주요 결과

• 확장된 YaleB 데이터셋(9명의 주제)에서 제안된 R-SSC 방법은 오분류 오차를 67.37%에서 4.94%로 감소시켜 기준선 SSC보다 뚜렷이 뛰어난 성능을 보였다.
• 확장된 YaleB 데이터셋에서 2명의 주제에 대해, RSC 향상된 R-SSC 프레임워크를 사용할 경우 오분류 비율이 42.06%에서 0%로 감소하였다.
• CMU Mocap 동작 분할 데이터셋에서 제안된 방법은 오분류 비율 3.902%를 기록했으며, SSC는 21.8693%, LSA는 17.8766%였다.
• 온라인 학습 변형은 131.76초 만에 수렴하여 배치 학습(700.27초)과 유사한 목적 함수 값을 달성하여 대규모 데이터에 대한 효율성을 입증하였다.
• 차원 감소 최적화를 위해 변환 행렬 크기 r은 환경 차원보다 작아야 하며, 2명의 주제에 대해 r=96일 때 오분류 비율이 0%로 감소했고, 3명의 주제에 대해 r=40일 때도 마찬가지로 0%였다.
• 이 프레임워크는 변환과 동시에 차원 감소를 가능하게 하며, 감소된 r에서 군집 정확도가 최고에 이르렀다. 이는 압축 감지 및 감지 설계와의 강력한 연관성을 시사한다.