[論文レビュー] Parallel GPU Implementation of Iterative PCA Algorithms

M. Andrecut|ArXiv.org|Nov 7, 2008

Neural Networks and Applications参考文献 1被引用数 4

ひとこと要約

この論文は、NIPALS-PCAアルゴリズムにおける直交性の喪失を克服するため、グラム・シュミット再直交化に基づくGPUアクセceleratedで直交する反復型PCAアルゴリズム（GS-PCA）を提案している。NVIDIA GPU上でCUBLASを用いて実装されたGS-PCAは、CPU最適化されたCBLAS実装と比較して最大12倍の高速化を達成するとともに、全成分の主成分計算において数値安定性を確保している。

ABSTRACT

Principal component analysis (PCA) is a key statistical technique for multivariate data analysis. For large data sets the common approach to PCA computation is based on the standard NIPALS-PCA algorithm, which unfortunately suffers from loss of orthogonality, and therefore its applicability is usually limited to the estimation of the first few components. Here we present an algorithm based on Gram-Schmidt orthogonalization (called GS-PCA), which eliminates this shortcoming of NIPALS-PCA. Also, we discuss the GPU (Graphics Processing Unit) parallel implementation of both NIPALS-PCA and GS-PCA algorithms. The numerical results show that the GPU parallel optimized versions, based on CUBLAS (NVIDIA) are substantially faster (up to 12 times) than the CPU optimized versions based on CBLAS (GNU Scientific Library).

研究の動機と目的

• 標準のNIPALS-PCAアルゴリズムにおける直交性の喪失という問題を解決し、主成分の数を最初の数個に限定するのではなく、より多くの成分まで利用可能にする。
• グラム・シュミット再直交化を用いて、すべての成分にわたって直交性を維持する数値的に安定した反復型PCAアルゴリズムの開発。
• CUBLASを用いたGPU並列化により、大規模データセットにおけるPCA計算を高速化する。
• GPU最適化されたGS-PCAとNIPALS-PCAの性能および安定性を、CPU最適化されたCBLAS実装と比較する。

提案手法

• 各主成分抽出ステップでグラム・シュミット直交化を適用することで直交性を保持する反復型PCAアルゴリズム、GS-PCAを提案する。
• 2段階の反復プロセスを採用：まず行列・ベクトル乗算により負荷を推定し、次に直交射影を用いてスコアを更新する。
• 各イテレーションにおいて、以前に計算された成分への射影を差し引くことで再直交化を実行し、直交性を維持する。
• GEMV、GEMM、NRM2、SCALなどの主要な線形代数演算を高速化するため、CUBLASを用いてGPU上でアルゴリズムを実装する。
• PCA計算の前処理として、GPU上でCUBLASのDAXPYおよびDCOPY演算を用いて入力データの平均中心化を実行する。
• CPUとGPUのメモリ間でのデータ転送をcublasGetMatrixおよびcublasSetMatrixを用いて行い、ホストとデバイスのメモリ間でデータの一貫性を保証する。

実験結果

リサーチクエスチョン

• RQ1 GPU並列化された反復型PCAアルゴリズムは、標準のNIPALS-PCAとは異なり、すべての成分にわたって直交性を維持できるか？
• RQ2 GPU最適化されたGS-PCA実装は、CPU最適化されたCBLASバージョンと比べてどの程度高速化されるか？
• RQ3 グラム・シュミット再直交化の適用により、反復型PCAにおける蓄積誤差に起因する数値不安定性が解消されるか？
• RQ4 CUBLASベースのGPUカーネルを用いた大規模データセットにおけるPCA処理で、最大どの程度の高速化が達成できるか？
• RQ5 GS-PCAは、正確性や直交性の損失なしに、全成分の主成分を信頼性を持って計算できるか？

主な発見

• GPU最適化されたGS-PCA実装は、大規模データセットに対してCPU最適化されたCBLASバージョンと比較して最大12倍の高速化を達成した。
• GS-PCAは、すべてのイテレーションにわたって主成分の直交性を的確に維持しており、NIPALS-PCAの数値不安定性を解消した。
• 直交化処理のおかげで、最初の数個の成分にとどまらず、全成分の主成分を正しく計算できる。
• NVIDIA GPU上でCUBLASを用いることで、行列・ベクトル乗算やノルム計算などの主要な線形代数演算が顕著に高速化された。
• 固有値の差分に基づく収束基準（|λ′ − λ| < ε）は、NIPALS-PCAおよびGS-PCAの両方において、安定な成分推定の検出に有効であった。
• アルゴリズムの正しさを確認するため、収束後にX = TP^T + Rと行列再構成でき、残差Rがほぼゼロに近づいた。