[논문 리뷰] Theoretical Analysis of Sparse Subspace Clustering with Missing Entries

Manolis C. Tsakiris, Renè Vidal|arXiv (Cornell University)|2018. 01. 01.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 5

한 줄 요약

이 논문은 결손 데이터가 있는 희소 부분공간 군집화(Sparse Subspace Clustering, SSC)에 대한 이론적 보장을 제공하며, 결손 데이터를 채운 후 각 점의 관측 패턴에 사영하는 것이 성능을 크게 향상시킨다고 보여준다. 핵심 통찰은 사영 과정에서 결손 항목이 증가하지만, 데이터가 사영된 부분공간과 정렬되어, 관측이 불완전한 상황에서도 더 나은 군집화 성능을 달성할 수 있다는 것이다.

ABSTRACT

Sparse Subspace Clustering (SSC) is a popular unsupervised machine learning method for clustering data lying close to an unknown union of low-dimensional linear subspaces; a problem with numerous applications in pattern recognition and computer vision. Even though the behavior of SSC for complete data is by now well-understood, little is known about its theoretical properties when applied to data with missing entries. In this paper we give theoretical guarantees for SSC with incomplete data, and analytically establish that projecting the zero-filled data onto the observation pattern of the point being expressed leads to a substantial improvement in performance. The main insight that stems from our analysis is that even though the projection induces additional missing entries, this is counterbalanced by the fact that the projected and zero-filled data are in effect incomplete points associated with the union of the corresponding projected subspaces, with respect to which the point being expressed is complete. The significance of this phenomenon potentially extends to the entire class of self-expressive methods.

연구 동기 및 목표

• 결손 항목이 있는 데이터에 적용된 희소 부분공간 군집화(Sparse Subspace Clustering, SSC)에 대한 이론적 성능 보장을 수립하는 것.
• 0-채운 SSC(ZF-SSC)와 0-채운 후 관측 패턴에 사영하는 PZF-SSC의 두 수식을 분석하고 비교하는 것.
• ZF-SSC보다 더 많은 결손 항목이 존재함에도 불구하고 PZF-SSC가 더 뛰어난 성능을 보임을 이론적으로 입증하여 기존의 직관을 도전하는 것.
• 소음을 분석의 후반부까지 분리하지 않는 새로운 분석 프레임워크를 개발하여 강건성과 더 날카로운 경계를 향상시키는 것.

제안 방법

• 결손 항목을 0으로 채우는 ZF-SSC와, 점의 관측 패턴에 사전에 사영한 후 0으로 채우는 PZF-SSC의 두 변형을 제안한다.
• 결손 데이터가 있는 SSC의 더 날카로운 이론적 분석을 가능하게 하는 이중 벡터의 유클리드 노름에 관한 새로운 보조정리를 도입한다.
• 고차원 확률론과 볼록 기하학의 도구를 사용하여, 부분공간의 기하학적 구조를 기반으로 한 결손 데이터 하에서의 분석을 수행한다. 이는 점 집합의 내접원반지름과 외접원반지름을 포함한다.
• 무작위 결손 패턴 하에서의 고확률 성능 보장을 유도하기 위해, 무작위 사영과 구면 농도의 확률적 경계를 적용한다.
• ZF-SSC와 PZF-SSC에 대해 허용 가능한 결손 항목 비율에 대한 결정론적 및 확률적 경계를 유도한다.
• 기존의 방법보다 더 강력한 조건과 더 나은 노이즈 내성으로, 동일한 프레임워크를 사용하여 결손이 없는 데이터와 노이즈가 있는 데이터의 경우를 재분석한다.

실험 결과

연구 질문

• RQ1 결손 항목이 있는 데이터에 대해 SSC를 적용할 때 이론적 성능 보장을 수립할 수 있는가?
• RQ2 해당 점의 관측 패턴에 0-채운 데이터를 사영하면 군집화 성능이 향상되는가? 만약 그렇다면 그 이유는 무엇인가?
• RQ3 이론적 경계 하에서 ZF-SSC와 PZF-SSC 간의 허용 가능한 결손 항목 수준는 어떻게 비교되는가?
• RQ4 제안된 분석 프레임워크는 기존 방법보다 더 날카로운 노이즈 내성 경계와 더 약한 조건을 제공하여 정확한 부분공간 복원을 가능하게 하는가?
• RQ5 결손 항목이 증가하는 것으로 보일 수 있지만, 사영 메커니즘은 실제로 기저 부분공간의 구조와 더 잘 정렬되는가?

주요 결과

• PZF-SSC는 더 많은 결손 항목이 존재함에도 불구하고, 사영된 부분공간과의 더 나은 정렬 덕분에 ZF-SSC보다 더 높은 결손 항목 허용 비율을 달성한다.
• 이론적 분석은 해당 점의 관측 패턴에 데이터를 사영하는 것이, 결손 항목 수가 증가함에도 불구하고 성능 향상을 이룬다는 것을 확인한다.
• 소음을 분석 후반부까지 분리하지 않는 새로운 이중 벡터 노름 분석 덕분에, 기존 작업 [33]보다 더 높은 노이즈 내성 수준을 달성한다.
• 결손이 없는 데이터의 경우, 기존 조건 [22]보다 더 약하고 계산이 더 쉬운 정확한 부분공간 복원 조건을 도출한다.
• 내접원반지름과 사영 노름에 대한 확률적 경계는 무작위 결손 패턴 하에서도 고확률 보장을 가능하게 하며, 데이터 차원과 부분공간 구조에 명시적인 의존성을 가진다.
• 이 분석 프레임워크는 일반화 가능하며, 일반적인 노이즈가 있는 SSC에 대해 더 날카로운 이론적 경계를 제공하여 기존 접근보다 더 강력한 성능 보장을 제공한다.