[논문 리뷰] History PCA: A New Algorithm for Streaming PCA

Puyudi Yang, Cho‐Jui Hsieh외 1명|arXiv (Cornell University)|2018. 02. 15.

Random Matrices and Applications참고 문헌 20인용 수 14

한 줄 요약

이 논문은 과거 데이터 블록을 활용하여 수렴 속도를 높이되, 메모리 사용량을 O(Bd) 이내로 유지하는 새로운 스트리밍 PCA 알고리즘인 History PCA를 제안한다. 여기서 B는 작은 블록 크기이다. 역사적 정보를 재귀적 업데이트 방식을 통해 통합함으로써, Oja의 알고리즘과 VR-PCA보다 더 빠른 수렴 속도를 달성하며, 이론적 보장과 함께 합성 및 실제 데이터 세트, 특히 KDDB와 RCV1와 같은 대규모 데이터 세트에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper we propose a new algorithm for streaming principal component analysis. With limited memory, small devices cannot store all the samples in the high-dimensional regime. Streaming principal component analysis aims to find the $k$-dimensional subspace which can explain the most variation of the $d$-dimensional data points that come into memory sequentially. In order to deal with large $d$ and large $N$ (number of samples), most streaming PCA algorithms update the current model using only the incoming sample and then dump the information right away to save memory. However the information contained in previously streamed data could be useful. Motivated by this idea, we develop a new streaming PCA algorithm called History PCA that achieves this goal. By using $O(Bd)$ memory with $B\approx 10$ being the block size, our algorithm converges much faster than existing streaming PCA algorithms. By changing the number of inner iterations, the memory usage can be further reduced to $O(d)$ while maintaining a comparable convergence speed. We provide theoretical guarantees for the convergence of our algorithm along with the rate of convergence. We also demonstrate on synthetic and real world data sets that our algorithm compares favorably with other state-of-the-art streaming PCA methods in terms of the convergence speed and performance.

연구 동기 및 목표

• 처리 후 과거 데이터를 기각하는 기존 스트리밍 PCA 알고리즘의 느린 수렴 문제를 해결한다.
• 이전에 처리된 데이터 블록에서 유용한 정보를 유지함으로써 수렴 속도를 향상시키는 메모리 효율적인 알고리즘을 개발한다.
• 역사적 데이터를 사용하는 스트리밍 PCA 알고리즘에 대한 이론적 수렴 보장을 제공하여 안정성과 확장성을 확보한다.
• 스트리밍 환경에서 빌리온 수준의 데이터 포인트를 포함한 대규모 실제 데이터 세트에서 뛰어난 성능을 입증한다.
• 스텝 사이즈 선택과 같은 하이퍼파rameter 조정이 필요 없는 조건에서 스트리밍 환경에서 랭크-k PCA 계산을 효과적으로 수행할 수 있도록 한다.

제안 방법

• 크기 B의 작은 청크 단위로 데이터를 처리하는 블록 기반 스트리밍 프레임워크를 도입하며, 과거 데이터의 저랭크 근사치를 저장한다.
• 과거 데이터 정보를 역사 인식 업데이트 규칙을 통해 재귀적 업데이트 메커니즘을 활용하여 누적된 신호를 활용함으로써 수렴 속도를 향상시킨다.
• 스토케스틱 최적화 문제로 공식화하며, 분산 감소 원리와 유사하지만 스트리밍 데이터 및 블록 처리에 적합하게 조정한다.
• 메모리 사용을 융통성 있게 조정할 수 있다: B ≈ 10일 경우 메모리는 O(Bd)이며, 내부 반복 수를 1로 줄이면 메모리는 O(d)로 감소한다. 이는 Oja의 알고리즘과 유사하지만 더 빠른 수렴 속도를 제공한다.
• 스텝 사이즈 조정이 필요 없는 하이퍼파rameter 없는 업데이트 규칙을 설계하여, Oja의 알고리즘과 달리 단순화된 재귀적 업데이트를 기반으로 안정성을 확보한다.
• 핵심 업데이트 과정은 현재 데이터와 역사적 데이터를 모두 사용하여 공분산 행렬의 저랭크 근사를 계산하고, 주성분 부분공간을 반복적으로 갱신하는 것이다.

실험 결과

연구 질문

• RQ1 스트리밍 PCA에서 과거 데이터를 효과적으로 재사용하여 메모리 사용량을 크게 늘리지 않고도 수렴 속도를 높일 수 있는가?
• RQ2 역사 인식 스트리밍 PCA 알고리즘이 합성 및 실제 데이터 세트에서 Oja의 알고리즘과 VR-PCA보다 수렴 속도가 빠른가?
• RQ3 특히 고차원성과 대규모 데이터 세트에서, 단일 데이터 루프를 통과하는 동안 거의 최적의 성능을 달성할 수 있는가?
• RQ4 역사 보강 스트리밍 PCA 알고리즘의 이론적 수렴 속도는 무엇이며, 이는 기존의 경계를 충족하거나 초월하는가?
• RQ5 하이퍼파rameter 조정이 철저히 필요하지 않은 조건에서도, 랭크-k PCA(k > 1)에 대해 안정성과 성능을 유지할 수 있는가?

주요 결과

• History PCA는 합성 및 실제 데이터 세트에서 Oja의 알고리즘과 VR-PCA보다 더 빠른 수렴 속도를 보이며, 다양한 블록 크기와 목표 랭크에서 일관된 성능을 유지한다.
• RCV1 및 KDDB 데이터 세트에서 History PCA는 단일 데이터 루프 내에 오차를 10^-6 이하로 낮추며, 루프 수와 실제 런타임 측면에서 다른 방법들을 모두 능가한다.
• KDDB 데이터 세트(1900만 개 샘플, 2900만 개 기능)에서 History PCA는 다중 루프가 필요하지 않은 상태에서도 VR-PCA를 포함한 모든 다른 방법보다 훨씬 빠르게 실행된다.
• Oja의 알고리즘이 이러한 환경에서 수치적으로 불안정해지는 것과 달리, History PCA는 k > 1인 경우에도 높은 안정성과 성능을 유지한다.
• 내부 반복 수를 1로 설정함으로써 오직 O(d) 메모리 사용량을 확보한 상태에서, History PCA는 Oja의 알고리즘과 동일한 메모리 효율성을 확보하면서 훨씬 더 빠른 수렴 속도를 달성한다.
• 첫 번째 데이터 루프 이후에도 History PCA는 계속해서 해를 개선함으로써 반복적 추정 개선 능력을 입증한다. 이는 표준 스트리밍 알고리즘이 한 번의 루프 후 개선을 멈추는 것과는 대조된다.