[논문 리뷰] Parallel GPU Implementation of Iterative PCA Algorithms

M. Andrecut|ArXiv.org|2008. 11. 07.

Neural Networks and Applications참고 문헌 1인용 수 4

한 줄 요약

이 논문은 표준 NIPALS-PCA 알고리즘에서 발생하는 직교성 손실 문제를 해결하기 위해 그램-슈미트 재직교화 기반의 GPU 가속화된 수직 반복 PCA 알고리즘(GS-PCA)을 제안한다. NVIDIA GPU에서 CUBLAS를 사용해 구현된 GS-PCA는 수치적 안정성을 확보하면서도 CPU 최적화된 CBLAS 구현 대비 최대 12배 빠른 성능을 달성하여 전체 주성분을 계산하는 데 유용하다.

ABSTRACT

Principal component analysis (PCA) is a key statistical technique for multivariate data analysis. For large data sets the common approach to PCA computation is based on the standard NIPALS-PCA algorithm, which unfortunately suffers from loss of orthogonality, and therefore its applicability is usually limited to the estimation of the first few components. Here we present an algorithm based on Gram-Schmidt orthogonalization (called GS-PCA), which eliminates this shortcoming of NIPALS-PCA. Also, we discuss the GPU (Graphics Processing Unit) parallel implementation of both NIPALS-PCA and GS-PCA algorithms. The numerical results show that the GPU parallel optimized versions, based on CUBLAS (NVIDIA) are substantially faster (up to 12 times) than the CPU optimized versions based on CBLAS (GNU Scientific Library).

연구 동기 및 목표

• 표준 NIPALS-PCA 알고리즘과 같이 반복 PCA 알고리즘에서 발생하는 직교성 손실 문제를 해결하여 첫 몇 개 성분 이외의 성분 사용을 제한하는 문제를 해결하고자 한다.
• 그램-슈미트 재직교화를 통해 모든 성분에 걸쳐 직교성을 유지하는 수치적으로 안정적인 반복 PCA 알고리즘을 개발하고자 한다.
• CUBLAS를 통한 GPU 병렬 처리를 활용하여 대규모 데이터셋에 대한 PCA 계산을 가속화하고자 한다.
• GPU 최적화된 GS-PCA와 NIPALS-PCA의 성능 및 안정성을 CPU 최적화된 CBLAS 구현과 비교하고자 한다.

제안 방법

• 각 성분 추출 단계에서 직교성을 유지하기 위해 그램-슈미트 직교화를 적용하는 반복 PCA 알고리즘인 GS-PCA를 제안한다.
• 두 단계 반복 프로세스를 사용한다: 먼저 행렬-벡터 곱을 통해 적재량을 추정하고, 그 다음 직교 투영을 통해 점수를 갱신한다.
• 각 반복 단계에서 이전에 계산된 성분에 대한 투영을 빼내어 재직교화를 수행함으로써 직교성을 유지한다.
• GEMV, GEMM, NRM2, SCAL 등의 고성능 선형 대수 연산을 위해 CUBLAS를 사용하여 GPU에 알고리즘을 구현한다.
• PCA 계산 이전에 입력 데이터의 평균 중심화를 GPU에서 CUBLAS DAXPY 및 DCOPY 연산을 사용해 수행한다.
• 호스트와 장치 간 데이터 전송을 위해 cublasGetMatrix 및 cublasSetMatrix를 사용하여 CPU 및 GPU 메모리 간 데이터 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 GPU 병렬화된 반복 PCA 알고리즘은 표준 NIPALS-PCA와 달리 모든 성분에 걸쳐 직교성을 유지할 수 있는가?
• RQ2 GPU 최적화된 GS-PCA 구현은 CPU 최적화된 CBLAS 버전보다 얼마나 더 빠른가?
• RQ3 그램-슈미트 재직교화의 사용이 반복 PCA에서 누적 오차로 인한 수치적 불안정성을 제거하는가?
• RQ4 대규모 데이터셋에 대해 CUBLAS 기반 GPU 커널을 사용할 때 얻을 수 있는 최대 가속도는 얼마인가?
• RQ5 GS-PCA는 정확도나 직교성 손실 없이 전체 주성분 세트를 신뢰성 있게 계산할 수 있는가?

주요 결과

• GPU 최적화된 GS-PCA는 대규모 데이터셋에 대해 CPU 최적화된 CBLAS 버전 대비 최대 12배 빠른 성능을 기록했다.
• GS-PCA는 모든 반복 단계에서 주성분 간의 직교성을 성공적으로 유지하여 NIPALS-PCA의 수치적 불안정성을 제거했다.
• 직교화 과정 덕분에 첫 몇 개 성분 외에도 전체 주성분 세트를 정확히 계산할 수 있었다.
• NVIDIA GPU에서 CUBLAS를 사용함으로써 행렬-벡터 곱 및 노름 계산과 같은 핵심 선형 대수 연산이 크게 가속화되었다.
• 고유값 차이( |λ′ − λ| < ε )를 기반으로 한 수렴 기준이 NIPALS-PCA 및 GS-PCA 양쪽 모두에서 안정적인 성분 추정을 탐지하는 데 효과적이었다.
• 수렴 후 데이터 행렬을 X = TP^T + R로 재구성했을 때 잔차 R이 거의 0에 가까워지며 알고리즘의 정확성을 확인했다.