[논문 리뷰] Subspace Clustering with Missing and Corrupted Data

Zachary Charles, Amin Jalali외 1명|arXiv (Cornell University)|2017. 07. 08.

Face and Expression Recognition참고 문헌 4인용 수 8

한 줄 요약

이 논문은 ℓ₁-노름 정규화와 최소 제곱 손실의 조합을 최소화하여 결측치 및 손상된 데이터를 처리하는 스퍼스 서브스페이스 클러스터링(LS-SSC)의 강건한 변종을 제안한다. 이는 이전 분석보다 더 높은 노이즈 수준과 결측 데이터 수준에서도 서브스페이스 탐지에 대한 이론적 보장을 수립하며, 샘플당 최대 O(n/d)개의 결측 항목과 O(1/√d)의 ℓ₂ 노이즈를 견딜 수 있으며, 기존 연구에서 요구한 d ≲ √n 조건을 크게 초월한다.

ABSTRACT

Given full or partial information about a collection of points that lie close to a union of several subspaces, subspace clustering refers to the process of clustering the points according to their subspace and identifying the subspaces. One popular approach, sparse subspace clustering (SSC), represents each sample as a weighted combination of the other samples, with weights of minimal $\ell_1$ norm, and then uses those learned weights to cluster the samples. SSC is stable in settings where each sample is contaminated by a relatively small amount of noise. However, when there is a significant amount of additive noise, or a considerable number of entries are missing, theoretical guarantees are scarce. In this paper, we study a robust variant of SSC and establish clustering guarantees in the presence of corrupted or missing data. We give explicit bounds on amount of noise and missing data that the algorithm can tolerate, both in deterministic settings and in a random generative model. Notably, our approach provides guarantees for higher tolerance to noise and missing data than existing analyses for this method. By design, the results hold even when we do not know the locations of the missing data; e.g., as in presence-only data.

연구 동기 및 목표

• 데이터에 상당한 결측 항목이나 덧셈 노이즈가 포함되어 있을 경우에도 효과적인 강건한 서브스페이스 클러스터링 방법을 개발하는 것.
• 현실적인 데이터 오염 및 결측 상황에서의 서브스페이스 탐지에 대한 이론적 보장을 제공하는 것.
• 스퍼스 서브스페이스 클러스터링에서 노이즈 및 결측 데이터에 대한 기존 이론적 한계를 향상시키는 것.
• 결측 데이터 위치에 대한 사전 지식이 없이도 성능을 분석하는 것, 특히 존재만 있는 데이터 설정에서도 적용 가능하도록 하는 것.

제안 방법

• ℓ₁-노름 최소화와 최소 제곱 피팅을 조합한 정규화 최적화 문제를 사용하여 강건한 스퍼스 서브스페이스 클러스터링 변종(LS-SSC)을 수립한다.
• 투영 단계 없이 이중 증명 기반 접근을 도입하여 새로운 비일관성 정의와 더 탴한 이론적 경계를 도출한다.
• 결정론적 및 랜덤 생성 모델을 분석하여 서브스페이스 탐지 성질이 성립하는 조건을 유도한다.
• 확률적 농도 부등식을 사용하여 손상되거나 결측된 성분의 노름을 경계함으로써 서브스페이스 간 기하학적 분리 보장.
• 성공적인 클러스터링을 보장하는 노이즈 수준과 결측 데이터 비율에 대한 명시적 임계값을 유도한다.
• 학습된 계수 행렬 |C| + |C|ᵀ에 스펙트럼 클러스터링을 적용하여 서브스페이스 클러스터를 복구한다.

실험 결과

연구 질문

• RQ1 LS-SSC는 높은 수준의 결측 데이터와 덧셈 노이즈 하에서도 서브스페이스 탐지 기능을 유지할 수 있는가?
• RQ2 LS-SSC는 정확한 클러스터링을 보장하는 범위 내에서 허용할 수 있는 최대 노이즈 수준이나 결측 항목 수는 얼마인가?
• RQ3 제안된 방법은 오염 및 결측 상황에서 기존 SSC에 대한 이론적 한계를 어떻게 향상시키는가?
• RQ4 결측 데이터 위치가 알려지지 않은 경우, 예를 들어 존재만 있는 데이터 설정에서도 이 방법은 여전히 효과적인가?
• RQ5 이론적 보장은 랜덤 서브스페이스와 그 안에서 균일하게 샘플링된 점들로도 확장 가능한가?

주요 결과

• LS-SSC는 ℓ₂ 노이즈의 노름이 O(1/√d) 이하로 제한될 경우 서브스페이스 탐지 성능을 확보하며, 이는 이전의 O(1/d) 한계를 향상시킨다.
• 이 방법은 샘플당 최대 O(n/d)개의 결측 항목을 견딜 수 있으며, 이는 이전 분석에서의 O(n/d²) 한계를 크게 초월한다.
• 결측 데이터 위치가 알려지지 않은 상황에서도 이론적 보장이 유지되어 존재만 있는 데이터 설정에의 적용이 가능하다.
• 이중 증명 구성에서 투영 단계를 제거함으로써 더 유리한 노이즈 내성과 서브스페이스 차원 간의 트레이드오프를 달성하였다.
• 분석 결과, LS-SSC가 높은 확률로 비어 있지 않은 비어 있지 않은 클러스터링 결과를 도출할 수 있는 정규화 매개변수 λ의 비어 있지 않은 간격이 존재함을 보여준다.
• 고차원 설정에서, 기존 연구가 요구한 d ≲ √n 조건을 초월하여도 서브스페이스 차원 d가 환경 차원 n과 비례할 경우에도 이 방법은 효과적으로 유지된다.