[논문 리뷰] Dimensionality Reduction of Massive Sparse Datasets Using Coresets

Dan Feldman, Mikhail Volkov외 1명|arXiv (Cornell University)|2015. 03. 05.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 34

한 줄 요약

이 논문은 희소 대규모 데이터셋에서 차원 축소를 위한 결정적 코어셋 구성 방법을 제안하며, ℓ₂ 주파수 근사화로의 새로운 환원을 사용한다. 이는 크기가 O(k/ε²)인 (ε,k)-코어셋을 보장하며, 이는 원본 행의 가중 부분집합이므로 희소 행렬(예: 텍스트 또는 소셜 네트워크에서의 행렬)에 대해 증명 가능하고 (1±ε) 오차 범위 내의 효율적인 저랭크 근사화를 가능하게 한다.

ABSTRACT

In this paper we present a practical solution with performance guarantees to the problem of dimensionality reduction for very large scale sparse matrices. We show applications of our approach to computing the low rank approximation (reduced SVD) of such matrices. Our solution uses coresets, which is a subset of $O(k/\eps^2)$ scaled rows from the $n imes d$ input matrix, that approximates the sub of squared distances from its rows to every $k$-dimensional subspace in $\REAL^d$, up to a factor of $1\pm\eps$. An open theoretical problem has been whether we can compute such a coreset that is independent of the input matrix and also a weighted subset of its rows. %An open practical problem has been whether we can compute a non-trivial approximation to the reduced SVD of very large databases such as the Wikipedia document-term matrix in a reasonable time. We answer this question affirmatively. % and demonstrate an algorithm that efficiently computes a low rank approximation of the entire English Wikipedia. Our main technical result is a novel technique for deterministic coreset construction that is based on a reduction to the problem of $\ell_2$ approximation for item frequencies.

연구 동기 및 목표

• 텍스트 또는 소셜 네트워크 행렬과 같은 대규모 희소 데이터셋에 대해 실용적이고 증명 가능한 정확도를 갖는 차원 축소 알고리즘이 부족한 문제를 해결한다.
• 입력 크기(n,d)에 종속되지 않으며, 원본 행의 부분집합이면서 비음수 가중치를 갖는 코어셋을 구성하는 열린 이론적 문제를 해결한다.
• 데이터 크기를 줄이면서 근사 품질을 유지함으로써 대규모 희소 행렬에서 저랭크 근사화(예: SVD)를 효율적으로 계산할 수 있도록 한다.
• 실시간 또는 대규모 데이터 처리를 위한 스트리밍 및 분산(매우 간단한 병렬 처리) 계산 모델을 지원한다.
• 희소 고차원 환경에서 코어셋에 대해 이론적 보장을 갖는 결정적 알고리즘을 제공한다.

제안 방법

• 코어셋 구성 문제를 항목 빈도의 ℓ₂ 주파수 근사화로 환원하여 결정적 구성이 가능하도록 한다.
• 입력 행렬 A를 SVD로 변환: A = UDVᵀ, 그 후 k차원 및 (d−k)차원 성분을 추출하고 정규화하여 행렬 X를 구성한다.
• 수정된 프랭크-울프 스타일 알고리즘을 사용하여 정규화된 공간에서 가장 먼 점을 반복적으로 선택하고, 중앙 정규화를 재귀적으로 계산하여 가중치를 갱신한다.
• 오직 O(k/ε²)개의 비영원 요소를 갖는 희소 가중 벡터 w ∈ [0,∞)^n을 유지함으로써, 코어셋 크기가 n과 d에 종속되지 않도록 보장한다.
• 각 반복에서 O(d²) 연산을 피하기 위해 a, b, c를 재귀적으로 계산하여, 점당 공간 복잡도를 O(d²)에서 O(d)로 감소시킨다.
• α = (1−a+b)/(1+c−2a)를 사용하여 현재 및 새로운 점의 가중치 간의 볼록 조합을 제어함으로써 수렴을 보장하고 유효한 코어셋을 확보한다.

실험 결과

연구 질문

• RQ1 입력 차원(n,d)에 종속되지 않으며, 원본 행의 부분집합이면서 임의의 k차원 부분공간에 대해 (1±ε) 근사치를 제공하는 코어셋을 크기 O(k/ε²)로 구성할 수 있는가?
• RQ2 희소 고차원 데이터에서 랜덤 샘플링을 피하면서도 이론적 보장을 유지하는 결정적 알고리즘을 설계할 수 있는가?
• RQ3 코어셋 구성이 근사 품질을 손상시키지 않고 스트리밍 및 분산 계산 모델을 지원하도록 어떻게 적응시킬 수 있는가?
• RQ4 코어셋 크기를 O(k/ε²) 이내로 제한하면서도, 임의의 k-하위공간으로의 제곱 거리 합의 가중 합이 원본 합과 (1±ε) 이내로 유지될 수 있는가?
• RQ5 희소성은 코어셋 크기와 메모리 사용에 어떤 영향을 미치며, 코어셋이 원본 데이터의 희소성을 유지할 수 있는가?

주요 결과

• 논문은 크기가 O(k/ε²)인 (ε,k)-코어셋을 구성하며, 이는 원본 행의 가중 부분집합이며, 코어셋 이론에서 오랫동안 남아 있던 열린 문제를 해결한다.
• 코어셋 구성은 결정적이며 ℓ₂ 주파수 근사화로의 환원에 기반하여, 임의의 k차원 부분공간으로의 제곱 거리 합에 대해 증명 가능한 (1±ε) 근사치를 제공한다.
• 알고리즘은 O(k/ε²)회의 반복을 수행하며, 중심 정규화를 재귀적으로 업데이트하여 전체 행렬 연산을 피함으로써 점당 O(d) 공간을 사용한다.
• 이 방법은 스트리밍 및 분산 계산을 지원한다: 코어셋은 O(|C| log n) 메모리로 한 번의 스캔으로 유지 가능하며, 최소한의 오버헤드로 여러 머신 간에 병합할 수 있다.
• 합성 데이터에 대한 실험 평가 결과, 코어셋이 높은 품질의 근사를 제공하는 것으로 확인되었으며, 코어셋의 저랭크 근사화 결과가 원본 행렬의 전체 SVD와 매우 유사하게 나타났다.
• 코어셋은 희소성을 유지한다: 입력 행렬 A가 희소할 경우(최대 행 희소성 s), 코어셋은 n과 d에 관계없이 O(|C|·s)단어의 메모리만 사용한다.