[논문 리뷰] Self-Expressive Decompositions for Matrix Approximation and Clustering

Eva L. Dyer, Tom Goldstein외 3명|arXiv (Cornell University)|2015. 05. 04.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 13

한 줄 요약

이 논문은 이질성 기반으로 선택된 데이터 벡터를 기반으로 하여 스parse 행렬 분해를 위한 확장 가능한 방법인 SEED를 제안한다. 이 방법은 빠른 OMP 변형을 사용하여 희소 표현을 계산하며, 충분한 조건 하에서 정확한 저질서 행렬 복원을 가능하게 한다. 또한 기존 방법들보다 행렬 근사, 군집화, 노이즈 제거에서 훨씬 낮은 계산 비용으로 뛰어난 성능을 발휘한다.

ABSTRACT

Data-aware methods for dimensionality reduction and matrix decomposition aim to find low-dimensional structure in a collection of data. Classical approaches discover such structure by learning a basis that can efficiently express the collection. Recently, "self expression", the idea of using a small subset of data vectors to represent the full collection, has been developed as an alternative to learning. Here, we introduce a scalable method for computing sparse SElf-Expressive Decompositions (SEED). SEED is a greedy method that constructs a basis by sequentially selecting incoherent vectors from the dataset. After forming a basis from a subset of vectors in the dataset, SEED then computes a sparse representation of the dataset with respect to this basis. We develop sufficient conditions under which SEED exactly represents low rank matrices and vectors sampled from a unions of independent subspaces. We show how SEED can be used in applications ranging from matrix approximation and denoising to clustering, and apply it to numerous real-world datasets. Our results demonstrate that SEED is an attractive low-complexity alternative to other sparse matrix factorization approaches such as sparse PCA and self-expressive methods for clustering.

연구 동기 및 목표

• 스parse PCA 및 자기표현 군집과 같은 기존 스parse 행렬 분해 방법들에 대한 확장 가능한 대안을 개발하여 전역 기저를 학습하는 것을 피하는 것.
• 선택된 비상관성 데이터 벡터의 부분집합을 기저로 삼아 정확한 저질서 행렬 복원을 가능하게 하는 것.
• 오직 데이터 샘플들만을 사용하여 행렬 근사, 군집, 노이즈 제거, 이상치 탐지에 대해 계산 비용이 효율적인 방법을 제공하는 것.
• 명시적 오차 계산이 비용이 많이 들거나 불가능한 경우에 활용할 수 있는 표현 오차 추정 기반의 정지 기준을 제공하는 것.
• 이미지 및 신경 신호를 포함한 실제 데이터 세트에서 본 방법의 효과성을 입증하는 것.

제안 방법

• SEED는 oASIS(Optimized Accelerated Sequential Incoherence Selection)를 사용하여 이전에 선택된 열과 상관성이 없는 데이터 행렬 X의 열을 반복적으로 선택함으로써 기저를 구성한다. 이는 상관관계를 피하고 선형 독립성을 보장한다.
• oASIS는 전체 G 행렬을 계산하지 않고도 효율적인 열 선택이 가능하도록 G = X^T X의 부분집합에 기반하여 작동한다.
• 이 방법은 계산 효율성을 위해 그람 행렬의 역행렬(W^{-1})과 행렬 R = W^{-1} C^T를 유지하고 갱신하며, 랭크-1 업데이트와 블록 행렬 역행렬 공식을 활용한다.
• 기저 선택 이후, SEED는 갱신된 역그람 행렬을 사용하는 빠른 오р토곤럴 매칭 퍼서트(OMP) 변형을 통해 데이터의 희소 표현을 계산한다.
• 알고리즘은 각 단계에서 슈어 여부 Δ_i를 통해 표현 오차를 추정하며, 이는 오차가 임계값 δ 이하일 경우 정지 기준으로 작용한다.
• SEED는 블록 행렬 역행렬과 벡터 연산을 활용하여 기저 구성 중에 증분적이고 저복잡도의 업데이트를 가능하게 한다.

실험 결과

연구 질문

• RQ1 이상성 기반의 탐욕적 열 선택 전략은 부분공간의 합집합에 존재하는 데이터에 대해 정확한 저질서 행렬 복원을 달성할 수 있는가?
• RQ2 SEED는 대규모 N에 대해 O(N^2)의 저장 및 계산 비용이 요구되는 SSC 및 LRR와 같은 자기표현 방법들에 대한 확장 가능한 대안을 제공할 수 있는가?
• RQ3 SEED는 더 낮은 계산 비용으로 스parse PCA 및 최근접 이웃 방법보다 행렬 근사 및 군집 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ4 스푸르 콘플레멘트 Δ_i로부터 도출된 표현 오차 추정치는 실제로 정지 기준으로 효과적으로 사용될 수 있는가?
• RQ5 SEED는 이미지 및 운동 피질의 신경 신호와 같은 실제 응용 분야에서 노이즈 제거 및 이상치 탐지에 얼마나 잘 작동하는가?

주요 결과

• 선택된 열들이 X의 전체 열 공간을 커버할 경우, 이론적 충분 조건(이상성 및 슈어 여부의 양성) 하에서 SEED는 정확한 행렬 복원을 달성한다.
• 알고리즘은 각 반복 단계에서 슈어 여부 Δ_i를 통해 표현 오차 추정치를 제공하며, 이는 오차가 임계값 이하일 경우 조기 정지를 가능하게 한다.
• SEED는 SSC 및 LRR에 비해 계산 비용을 크게 감소시켜 전체 유사도 행렬 구축에 필요한 O(N^2) 저장 및 고유값 계산을 피한다.
• 이미지 및 운동 피질의 신경 신호를 포함한 실제 데이터 세트에서, SEED는 기존 방법들에 비해 계산 비용의 일부분으로도 경쟁 가능한 군집 및 행렬 근사 성능을 달성한다.
• oASIS를 통한 열 선택은 선형 독립적이고 잘 조절된 기저 벡터를 보장하여 표현 효율성을 향상시킨다.
• SEED는 희소 표현과 잔차 오차 분석을 활용하여 효과적인 노이즈 제거 및 이상치 탐지가 가능하다.