[논문 리뷰] Performance Analysis of Spectral Clustering on Compressed, Incomplete and Inaccurate Measurements

Blake Hunter, Thomas Strohmer|arXiv (Cornell University)|2010. 11. 03.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 19

한 줄 요약

이 논문은 압축, 완전하지 않은, 노이즈가 있는 데이터에 대해 행렬 복원과 압축 측정 기법을 사용하여 스펙트럴 클러스터링의 강건성에 대한 이론적 한계를 설정한다. 이는 이러한 기법으로 인해 발생하는 친화도 행렬의 미세한 변화가 k-고유값 간격이 존재하는 한 진짜 좌표로부터 O(Nε) 이내의 스펙트럴 좌표를 유도함으로써 클러스터 가능성을 유지함을 증명한다. 얼굴 및 손글씨 숫자 이미지 데이터셋에서의 검증을 포함한다.

ABSTRACT

Spectral clustering is one of the most widely used techniques for extracting the underlying global structure of a data set. Compressed sensing and matrix completion have emerged as prevailing methods for efficiently recovering sparse and partially observed signals respectively. We combine the distance preserving measurements of compressed sensing and matrix completion with the power of robust spectral clustering. Our analysis provides rigorous bounds on how small errors in the affinity matrix can affect the spectral coordinates and clusterability. This work generalizes the current perturbation results of two-class spectral clustering to incorporate multi-class clustering with k eigenvectors. We thoroughly track how small perturbation from using compressed sensing and matrix completion affect the affinity matrix and in succession the spectral coordinates. These perturbation results for multi-class clustering require an eigengap between the kth and (k+1)th eigenvalues of the affinity matrix, which naturally occurs in data with k well-defined clusters. Our theoretical guarantees are complemented with numerical results along with a number of examples of the unsupervised organization and clustering of image data.

연구 동기 및 목표

• 완전하지 않거나 노이즈가 있거나 무작위 투영을 통해 측정된 데이터에서 압축 측정 및 행렬 복원 기법이 스펙트럴 클러스터링 성능에 미치는 영향을 분석하기 위해.
• 측정 압축 또는 행렬 복원으로 인한 친화도 행렬의 오차로 인한 스펙트럴 좌표의 변동에 대해 엄밀한 이론적 한계를 설정하기 위해.
• 기존의 이중클래스 스펙트럴 클러스터링 변동 결과를 k개 고유벡터를 사용한 다중클래스 클러스터링으로 일반화하기 위해.
• k-고유값 간격 조건이 유지될 경우, 작은 변동 하에서도 클러스터 가능성이 유지됨을 보장하여, 압축되거나 완전하지 않은 도메인에서의 비지도 클러스터링이 가능함을 입증하기 위해.
• 실세계 이미지 데이터셋, 특히 얼굴 이미지와 손글씨 숫자 이미지에서 최소한의 측정값이나 누락된 항목을 가진 상황에서도 실용적 타당성을 입증하기 위해.

제안 방법

• 고차원 신호에서 누락되거나 압축된 데이터를 복원하거나 추정하기 위해 무작위 투영(압축 측정)과 노름 최소화(행렬 복원)를 사용한다.
• 측정 또는 복원 오차로 인한 친화도 행렬 A 의 변동을 |A(i,j) − Ã(i,j)| ≤ ε 로 모델링하며, 여기서 ε 은 측정 또는 복원 오차에서 기인한다.
• 고유벡터 변동 이론(예: Davis-Kahan 정리)을 적용하여, 변동된 친화도 행렬 Ã 의 첫 번째 k 고유벡터가 진짜 값으로부터 얼마나 떨어져 있는지 한계를 설정한다.
• Ã 의 첫 번째 k 고유벡터의 스트레스가 진짜 스트레스로부터 O(Nε) 이내임을 도출하며, 스펙트럴 좌표는 진짜 좌표의 유니터리 변환과 O(Nε) 이내임을 보인다.
• 변동된 스펙트럴 좌표에 대해 k-means 클러스터링을 적용하고, 클러스터 할당이 원래 경우와 O(Nε) 이내임을 보인다.
• 합성 데이터 및 실질적인 이미지 데이터(얼굴 이미지에서 5%의 항목만 관측된 경우, 손글씨 숫자에서 압축 측정된 경우 포함)를 대상으로 수치 실험을 통해 이론적 한계를 검증한다.

실험 결과

연구 질문

• RQ1 압축 측정 또는 행렬 복원으로 유도된 친화도 행렬의 미세한 변동이 클러스터링에 사용되는 스펙트럴 좌표에 어떻게 영향을 미치는가?
• RQ2 누락된 항목이 있거나 압축 측정된 데이터에 대해 스펙트럴 클러스터링이 클러스터 가능성을 유지할 수 있는가, 그리고 어떤 조건에서 가능한가?
• RQ3 이러한 변동 하에서 스펙트럴 좌표 및 클러스터 할당의 편차에 대해 어떤 이론적 한계를 설정할 수 있는가?
• RQ4 k-번째 고유값 간격이 측정 노이즈 및 불완전성 하에서 다중클래스 스펙트럴 클러스터링의 강건성에 어떻게 영향을 미치는가?
• RQ5 압축되거나 불완전한 측정이 이미지 데이터의 기저 클러스터 구조를 어느 정도 유지할 수 있는가, 이를 실증적으로 어떻게 보여줄 수 있는가?

주요 결과

• 변동된 친화도 행렬 Ã 의 첫 번째 k 고유벡터의 스트레스는 진짜 고유공간으로부터 O(Nε) 이내이며, 여기서 ε 은 A 의 최대 항목별 변동이다.
• Ã 에서 유도된 스펙트럴 좌표는 진짜 스펙트럴 좌표의 유니터리 변환과 O(Nε) 이내에 있어 구조적 보존을 보장한다.
• 변동된 좌표에 대해 k-means를 적용한 클러스터 할당은 진짜 할당과 O(Nε) 이내에 있어, k-고유값 간격 조건 하에서 클러스터 가능성이 유지된다.
• 오직 5%의 항목만 관측된 얼굴 이미지 데이터셋에서, 행렬 복원 후 스펙트럴 클러스터링을 통해 세 사람의 클러스터 구조를 성공적으로 회복하였다.
• 손글씨 숫자 데이터에 대해 32개의 가우시안 측정값을 사용한 압축 스펙트럴 클러스터링은 전체 이미지 스펙트럴 클러스터링과 비교해 유사한 분류 성능를 보였으며, 2^8 측정값에서 오류율 0.1을 기록했고, 전체 데이터의 경우 2^13 측정값이 필요했다.
• 압축 측정 수가 증가함에 따라, 변동된 친화도 행렬의 첫 번째 세 고유벡터의 스트레스가 점차 진짜 스트레스에 수렴함을 확인하여 이론적 오차 한계를 검증하였다.