[논문 리뷰] Single-Pass PCA of Large High-Dimensional Data

Wenjian Yu, Yu Gu외 3명|arXiv (Cornell University)|2017. 04. 25.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 16

한 줄 요약

이 논문은 디스크에 저장되거나 스트리밍 형식으로 제공되는 대규모 고차원 데이터에 대한 주성분 분석(PCA)을 위한 단일 패ass 랜덤화 알고리즘을 제안한다. 이 알고리즘은 메모리에 올라가지 않는 데이터를 단 한 번의 패assing만으로도 효율적으로 처리할 수 있으며, 극도로 낮은 메모리 사용량으로도 높은 정확도를 달성한다. 150 GB의 데이터셋을 24분 만에 처리하며 메모리 사용량은 1 GB 미만이며, 기존의 단일 패assing 방법보다 오차 감소와 확장성 면에서 뛰어나다.

ABSTRACT

Principal component analysis (PCA) is a fundamental dimension reduction tool in statistics and machine learning. For large and high-dimensional data, computing the PCA (i.e., the singular vectors corresponding to a number of dominant singular values of the data matrix) becomes a challenging task. In this work, a single-pass randomized algorithm is proposed to compute PCA with only one pass over the data. It is suitable for processing extremely large and high-dimensional data stored in slow memory (hard disk) or the data generated in a streaming fashion. Experiments with synthetic and real data validate the algorithm's accuracy, which has orders of magnitude smaller error than an existing single-pass algorithm. For a set of high-dimensional data stored as a 150 GB file, the proposed algorithm is able to compute the first 50 principal components in just 24 minutes on a typical 24-core computer, with less than 1 GB memory cost.

연구 동기 및 목표

• 메인 메모리 용량을 초과하는 매우 큰 고차원 데이터셋에 대해 PCA를 계산하는 데 도전하는 것.
• 느린 스토리지(예: 하드디스크)에 저장되거나 스트리밍 방식으로 생성되는 데이터에 적합한 단일 패assing 알고리즘을 개발하는 것.
• 기존의 단일 패assing PCA 방법보다 정확도를 향상시키면서도 낮은 메모리 및 계산 비용을 유지하는 것.
• 제한된 램을 가진 표준 하드웨어로 테라바이트 규모의 데이터셋에 대한 실용적인 PCA 계산을 가능하게 하는 것.
• 다양한 데이터 분포에 걸쳐 강인함을 입증하기 위해 이론적 오차 경계와 실증적 검증을 제공하는 것.

제안 방법

• 고차원 데이터를 낮은 차원의 부분공간으로 투영하기 위해 구조화된 랜덤 행렬 기반의 랜덤 스케칭 기법을 사용한다.
• 직교 투영 행렬을 사용하여 데이터의 압축된 표현을 유지하는 단일 패assing 행렬 스케칭 기법을 적용한다.
• 압축된 행렬에 대해 절단된 특이값 분해(Truncated SVD)를 적용하여 계산 효율성을 확보한다.
• 최소한의 데이터 접근을 통해 주요 특이 부분공간을 식별하기 위해 랜덤화 QB 근사 기법을 활용한다.
• 오차 전파를 줄이기 위해 직교화와 구조화된 랜덤 투영을 사용하여 수치적 안정성을 확보한다.
• 정확도를 향상시키기 위해 추가 패assing(1회)을 포함한 파wr 스킴을 통합하여 런타임 및 메모리 사용량을 크게 증가시키지 않는다.

실험 결과

연구 질문

• RQ1 메인 메모리에 올라가지 않는 대규모 고차원 데이터셋에 대해 단일 패assing 알고리즘이 높은 정확도의 PCA를 달성할 수 있는가?
• RQ2 제안된 알고리즘이 빈도 기반 방향(Frequent-Directions)이나 기본 랜덤 QB 기반 기존 단일 패assing PCA 방법과 비교해 정확도와 효율성 면에서 어떻게 다른가?
• RQ3 제한된 램으로 테라바이트 규모의 데이터를 처리할 경우 알고리즘의 메모리 및 시간 복잡도는 어떻게 되는가?
• RQ4 이 알고리즘이 고차원 이미지 행렬과 같은 실세계 스트리밍 또는 디스크에 저장된 데이터에 효과적으로 적용될 수 있는가?
• RQ5 비구조화된 랜덤 투영에 비해 구조화된 랜덤 행렬의 사용이 정확도 및 안정성 향상에 어느 정도 기여하는가?

주요 결과

• 150 GB, 102,042 × 393,216 행렬의 첫 50개 주성분을 1453초(약 24분) 동안 1 GB 미만의 메모리로 계산한다.
• 150 GB 데이터셋에 대해 제안된 방법은 최대 오차 1.8e-3을 기록하며, 기준 단일 패assing 알고리즘의 2.2e-2 오차보다 현저히 낮다.
• 10,000 × 10,000 행렬에 대해 첫 50개 성분을 계산하는 데 0.69초가 소요되며, MATLAB의 'svds' 함수는 219초가 걸린다.
• 파워 스킴(추가 1회 패assing)을 적용하면 Type 1 행렬의 최대 오차는 4.6e-7로 감소하고 Type 2 행렬은 3e-6로 줄어들며, 런타임 증가는 미미하다.
• 실험 전반에서 알고리즘의 메모리 비용은 402 MB에서 490 MB 사이를 유지하지만, 표준 SVD 방법은 과도한 메모리 요구로 실패한다.
• FERET 데이터셋에서 계산된 고유 얼굴(eigenfaces)은 이전 연구 결과와 매우 유사하여, 본 방법의 정밀도와 실용적 유용성을 확인한다.