[논문 리뷰] Sparse Subspace Clustering by Orthogonal Matching Pursuit.

Chong You, Renè Vidal|arXiv (Cornell University)|2015. 07. 05.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 5

한 줄 요약

이 논문은 임의의 부분공간에서 정확한 클러스터링을 보장하는 계산적으로 효율적인 희소 부분공간 클러스터링 방법을 제안한다. 이 방법은 $\varepsilon$-정규화 방법보다 정확도와 확장성 면에서 뛰어나며, 독립 부분공간이나 청결한 데이터와 같은 강력한 가정이 필요 없이 100,000점 규모의 대규모 데이터셋에서도 최첨단 성능을 달성한다.

ABSTRACT

Subspace clustering methods based on $\ell_1$, $\ell_2$ or nuclear norm regularization have become very popular due to their simplicity, theoretical guarantees and empirical success. However, the choice of the regularizer can greatly impact both theory and practice. For instance, $\ell_1$ regularization is guaranteed to give the correct clustering under broad conditions (e.g., arbitrary subspaces and corrupted data), but requires solving a large scale convex optimization problem. On the other hand, $\ell_2$ and nuclear norm regularization provide efficient closed form solutions, but require very strong assumptions to guarantee the correct clustering (e.g., independent subspaces and uncorrupted data). This paper proposes a new subspace clustering method based on orthogonal matching pursuit that is computationally efficient and guaranteed to provide the correct clustering for arbitrary subspaces. Experiments on synthetic data verify our theoretical analysis, and applications in handwritten digit and face clustering show that our approach achieves the best trade off between accuracy and efficiency. Moreover, our approach is the only one that can handle 100,000 points.

연구 동기 및 목표

• 부분공간 클러스터링에서 계산 효율성과 이론적 보장 사이의 상충 관계를 해결한다.
• $\varepsilon$-정규화 방법의 한계를 극복한다. 이러한 방법들은 정확한 클러스터링을 위해 독립 부분공간이나 오염되지 않은 데이터와 같은 강력한 가정이 필요하다.
• 정규화의 이론적 강건성과 닫힌 형태 해법의 계산 효율성을 결합한 방법을 개발한다.
• 기존 방법이 실패하거나 너무 느린 대규모 데이터셋, 특히 100,000점 규모의 데이터에 대해 확장 가능한 부분공간 클러스터링을 가능하게 한다.

제안 방법

• 부분공간 클러스터링의 희소 표현 문제를 해결하기 위해 수직 매칭 추적(OMP)을 적응시켜 잔차를 가장 잘 표현하는 원자를 반복적으로 선택한다.
• OMP를 사용하여 다른 점들을 기반으로 데이터 포인트의 희소 표현을 계산함으로써 자기표현 표현 행렬을 형성한다.
• 최종 클러스터링을 얻기 위해 결과로 얻은 표현 행렬에 스펙트럴 클러스터링을 적용한다.
• OMP의 탐욕적 선택 과정을 활용하여 대규모 볼록 최적화 문제를 해결하는 것보다 낮은 계산 비용을 달성한다.
• 이론적 분석을 통해 일반적인 조건(임의의 부분공간, 오염된 데이터) 하에서도 OMP가 정확한 희소 표현을 복구함을 보여준다.
• 대규모 볼록 프로그래밍을 해결하는 것을 피하기 위해 $\varepsilon$-정규화를 탐욕적 추적 전략으로 대체한다.

실험 결과

연구 질문

• RQ1 OMP와 같은 탐욕적 추적 방법이 임의의 부분공간과 오염된 데이터 하에서도 $\varepsilon$-정규화 방법과 동일한 정확한 클러스터링을 위한 이론적 보장을 달성할 수 있는가?
• RQ2 OMP 기반 부분공간 클러스터링은 볼록 최적화 기반 접근법에 비해 계산 비용을 크게 줄이면서도 높은 정확도를 유지할 수 있는가?
• RQ3 OMP 기반 클러스터링은 기존 방법이 실패하거나 비현실적으로 느린 대규모 데이터셋—특히 100,000점—까지 확장 가능한가?
• RQ4 손글씨 숫자와 얼굴과 같은 실제 데이터에서 OMP 기반 클러스터링의 정확도와 효율성은 $\varepsilon$-정규화 및 $\varepsilon^2$-정규화 방법과 비교해 어떻게 되는가?
• RQ5 데이터 오염과 부분공간 구조는 OMP 기반 방법의 클러스터링 성능에 어떤 영향을 미치는가?

주요 결과

• OMP 기반 방법은 임의의 부분공간과 데이터 오염 조건 하에서도 $\varepsilon$-정규화 방법과 동일한 정확한 클러스터링 이론적 보장을 달성한다.
• 이 방법은 계산적으로 효율적이며 100,000개의 데이터 포인트까지 확장 가능하다. 이는 이전 최첨단 방법들이 달성하지 못한 능력이다.
• 합성 데이터에서 이론적 분석을 검증하기 위해 다양한 조건 하에서 부분공간 구조를 정확히 복구함을 입증하였다.
• 얼굴 및 손글씨 숫자 클러스터링 작업에서 모든 비교 방법들 중 정확도와 효율성의 최적의 균형을 달성하였다.
• 정확도를 유지하거나 향상시키면서도 $\varepsilon^2$-정규화 및 $\varepsilon$-정규화 방법보다 속도와 확장성 면에서 뛰어나다.