[논문 리뷰] An algorithm for the principal component analysis of large data sets

Nathan Halko, Per‐Gunnar Martinsson외 2명|arXiv (Cornell University)|2010. 07. 30.

Stochastic Gradient Optimization Techniques참고 문헌 12인용 수 5

한 줄 요약

이 논문은 주로 메모리 용량을 초과하는 매우 큰 데이터 세트에 대한 주성분 분석(PCA)을 위한 랜덤화 알고리즘을 제시한다. 이는 랜덤 프로젝션과 반복적 Krylov 부분공간 방법을 기반으로 한 외부 메모리(out-of-core) 접근 방식을 사용한다. 이 방법은 거의 최적의 스펙트럴 노름 정확도를 고도로 확률적으로 달성하며, 병렬 아키텍처에서도 성능을 유지한다. 또한 메모리에 들어가지 못할 정도로 큰 데이터를 효율적으로 처리하기 위해 디스크 I/O를 최소화하고, 주요 특이값 부분공간을 근사하기 위해 랜덤 샘플링을 활용한다.

ABSTRACT

Recently popularized randomized methods for principal component analysis (PCA) efficiently and reliably produce nearly optimal accuracy --- even on parallel processors --- unlike the classical (deterministic) alternatives. We adapt one of these randomized methods for use with data sets that are too large to be stored in random-access memory (RAM). (The traditional terminology is that our procedure works efficiently "out-of-core.") We illustrate the performance of the algorithm via several numerical examples. For example, we report on the PCA of a data set stored on disk that is so large that less than a hundredth of it can fit in our computer's RAM.

연구 동기 및 목표

• 랜덤 액세스 메모리(RAM)에 들어가지 못할 정도로 큰 데이터 세트에 대해 PCA를 수행하는 데 도전하는 것, 표준 하드웨어에서도 대규모 데이터 분석을 가능하게 하는 것.
• 디스크 액세스를 최소화하고, 높은 정확도를 확보하기 위해 랜덤 프로젝션을 활용하는 효율적인 외부 메모리 알고리즘 개발.
• 데이터에 관계없이 거의 최적의 스펙트럴 노름 정확도를 높은 확률로 확보함으로써, 특이값이 느리게 감쇠하는 경우에도 정확도를 유지하는 것.
• 현대의 다코어 및 분산 시스템에 적합한 확장 가능하고 병렬 처리가 가능한 PCA 계산을 가능하게 하는 것.
• 실제 데이터 세트, 특히 생물화학적 영상 및 대규모 시뮬레이션에서 알고리즘의 강건성과 효율성을 입증하는 것.

제안 방법

• 알고리즘은 데이터 행렬 A의 범위 대부분을 포괄하는 저차원 부분공간을 구성하기 위해 랜덤 프로젝션을 사용한다.
• A와 A^T를 포함하는 행렬-벡터 곱의 시퀀스를 적용하여 Krylov 유사 부분공간을 생성하며, A A^T의 거듭제곱을 사용해 부분공간을 풍부화시킨다.
• 결과 행렬 H에 대해 펄스된 QR 분해를 적용하여 A의 주요 범위에 대한 정규직교 기저 Q를 추출한다.
• 알고리즘은 A를 정규직교 기저 Q에 투영하고, 더 작은 투영된 행렬의 SVD를 계산하여 저랭크 SVD 근사 A ≈ U Σ V^T를 구성한다.
• 알고리즘은 각 행렬 원소가 접근되는 횟수를 최소화하도록 설계되어 있어, 외부 메모리 계산에서 I/O 비용을 줄인다.
• 스펙트럴 노름 오차의 근사치를 추정하기 위해 파wer 방법 기반 추정기를 사용하며, 오차가 두 배 이내로 정확할 가능성이 매우 높다.

실험 결과

연구 질문

• RQ1 랜덤화 PCA가 주로 메모리에 들어가지 않는 데이터 세트에서 효율적으로 작동하도록 적응시킬 수 있는가?
• RQ2 외부 메모리에서 거의 최적의 스펙트럴 노름 정확도를 유지하면서 디스크 액세스 횟수를 최소화할 수 있는가?
• RQ3 RAM에 1퍼센트 미만의 데이터만 들어갈 수 있는 데이터 세트에서 알고리즘의 성능은 어떠한가?
• RQ4 특이값이 느리게 감쇠하는 경우에도 이 방법이 높은 정확도를 유지하는가?
• RQ5 이 알고리즘은 다코어 또는 분산 시스템에서 효율적으로 병렬화될 수 있는가?

주요 결과

• 알고리즘이 RAM에 1퍼센트 미만의 데이터만 들어갈 수 있는 데이터 세트에서 PCA를 성공적으로 계산하여, 강력한 외부 메모리 성능을 입증했다.
• 근사 오차의 스펙트럴 노름이 항상 σ_{k+1}에 가까웠으며, 이는 거의 최적의 정확도를 의미한다.
• E. coli 생물화학적 영상 데이터 세트에서, 노이즈가 있는 영상을 150개의 주요 우측 특이벡터에 투영함으로써 효과적인 노이즈 제거를 달성했다.
• 특이값이 느리게 감쇠하는 경우에도, 몇 번의 반복(i=0 또는 i=1)과 작은 오버샘플링(l=k+2)으로도 높은 정확도를 확보했다.
• 좋은 스펙트럴 노름 정확도를 확보할 확률은 데이터에 관계없이 1−10^{−15}를 초과했으며, 이는 이론적 보장을 확인하는 데 기여했다.
• 알고리즘의 핵심 단계는 잘 병렬화되어 있어, 현대의 다코어 및 분산 컴퓨팅 환경에 배포하기에 적합하다.