[논문 리뷰] A Subspace Learning Approach to High-Dimensional Matrix Decomposition with Efficient Information Sampling

Mostafa Rahmani, George Atia|arXiv (Cornell University)|2015. 02. 01.

Sparse and Compressive Sensing Techniques참고 문헌 74인용 수 9

한 줄 요약

이 논문은 작은 효율적인 샘플링을 사용하여 문제를 부분공간 학습 문제로 변환함으로써 저질서 + 희소 행렬 분해를 위한 확장 가능한 부분공간 추적 기법을 제안한다. 계산 비용을 줄이기 위해 오직 O(rμ)개의 열/행만 샘플링하며, 비균일 샘플링을 통해 구조적 데이터에 대해 효율성을 향상시키고 온라인 구현을 가능하게 한다.

ABSTRACT

This paper is concerned with the problem of low-rank plus sparse matrix decomposition for big data. Conventional algorithms for matrix decomposition use the entire data to extract the low-rank and sparse components, and are based on optimization problems that scale with the dimension of the data, which limit their scalability. Furthermore, the existing randomized approaches mostly rely on uniform random sampling, which can be quite inefficient for many real world data matrices that exhibit additional structures (e.g. clustering). In this paper, a scalable subspace-pursuit approach that transforms the decomposition problem to a subspace learning problem is proposed. The decomposition is carried out using a small data sketch formed from sampled columns/rows. Even when the data is sampled uniformly at random, it is shown that the sufficient number of sampled columns/rows is roughly O(r \mu), where \mu is the coherency parameter and r the rank of the low-rank component. In addition, efficient sampling algorithms are proposed to address the problem of column/row sampling from structured data. The proposed sampling algorithms can be independently used for feature selection from high-dimensional data. The proposed approach is amenable to online implementation and an online scheme is proposed.

연구 동기 및 목표

• 전체 데이터 행렬을 처리하는 전통적인 저질서 + 희소 행렬 분해 알고리즘의 확장성 한계를 해결한다.
• 특히 군집과 같은 구조적 특성을 띠는 데이터에서 균일한 랜덤 샘플링의 비효율성을 해결한다.
• 행렬 분해를 부분공간 학습 문제로 변환하여 소규모 데이터 스케치를 사용한 효율적 계산을 가능하게 한다.
• 구조적 데이터를 위한 효율적인 샘플링 알고리즘을 개발하여 고차원 특성 선택에 재사용할 수 있도록 한다.
• 스트리밍 또는 변화하는 데이터를 위한 온라인 구현을 가능하게 한다.

제안 방법

• 전체 데이터 처리에 의존도를 줄이기 위해 저질서 + 희소 행렬 분해 문제를 부분공간 학습 문제로 재정의한다.
• 샘플된 열 또는 행을 사용해 소규모 데이터 스케치를 구성함으로써 최적화 문제의 차원을 크게 줄인다.
• 이론적 분석에 따르면, 정확한 분해를 위해 O(rμ)개의 샘플된 열/행이 충분함을 보여주며, 여기서 r은 저질서 성분이고 μ는 일관성 파라미터이다.
• 군집 등 데이터 구조에 맞는 비균일 샘플링 전략을 제안하여 균일 샘플링보다 효율성을 향상시킨다.
• 새로운 데이터 도착에 따라 분해를 점진적으로 업데이트할 수 있는 온라인 버전의 알고리즘을 설계한다.
• 샘플링과 분해 파이프라인을 통합하여 고차원 데이터의 특성 선택에 샘플링 알고리즘을 별도로 사용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 행렬 분해를 부분공간 학습 문제로 효과적으로 재정의함으로써 확장성을 향상시킬 수 있는가?
• RQ2 균일 샘플링 하에서 정확한 저질서 + 희소 분해를 위해 필요한 최소 샘플 열/행 수는 얼마인가?
• RQ3 군집 또는 기타 패턴을 보이는 구조적 데이터 행렬에 대해 샘플링을 어떻게 더 효율적으로 만들 수 있는가?
• RQ4 제안된 방법은 온라인 또는 점진적 데이터 처리에 적응 가능한가?
• RQ5 실제 구조적 데이터에서 비균일 샘플링 전략이 균일 샘플링 대비 성능 향상을 얼마나 높이는가?

주요 결과

• 제안된 방법은 오직 O(rμ)개의 샘플된 열 또는 행만을 사용하여 정확한 저질서 + 희소 분해를 달성하며, 계산 부담을 크게 줄였다.
• 조금이라도 균일 샘플링을 사용하더라도 샘플 크기가 O(rμ)에 도달하면 복구 정확도에 대한 이론적 보장을 유지한다.
• 비균일 샘플링 전략은 특히 군집 패턴을 보이는 데이터에서 균일 샘플링보다 성능이 뛰어나다.
• 개발된 샘플링 알고리즘은 고차원 특성 선택에 효과적이며, 분해 파이프라인과 별도로도 사용할 수 있다.
• 온라인 버전의 알고리즘은 분해를 점진적으로 업데이트할 수 있어 스트리밍 데이터 응용에 적합하다.
• 전반적인 접근법은 고차원 데이터에 대해 효율적으로 확장되며, 대용량 데이터 응용 분야에서 실용적 타당성을 입증했다.