[論文レビュー] Alternating Maximization: Unifying Framework for 8 Sparse PCA Formulations and Efficient Parallel Codes

Peter Richtárik, Majid Jahani+2 more|arXiv (Cornell University)|Dec 17, 2012

Spectroscopy and Chemometric Analyses被引用数 9

ひとこと要約

本稿では、L2/L1分散測定とL0/L1スパース性誘導ノルムを制約またはペナルティの形で組み合わせた8つのスパースPCA定式化を統一的に解くための、交互最大化（AM）フレームワークを提案する。この手法はGPowerと同等であり、シングルコア、マルチコア、GPU、クラスタアーキテクチャにわたり、非常に効率的な並列実装を可能にし、最大100倍の高速化を達成。357 GBのデータ問題を1分未塔で解ける。

ABSTRACT

Given a multivariate data set, sparse principal component analysis (SPCA) aims to extract several linear combinations of the variables that together explain the variance in the data as much as possible, while controlling the number of nonzero loadings in these combinations. In this paper we consider 8 different optimization formulations for computing a single sparse loading vector; these are obtained by combining the following factors: we employ two norms for measuring variance (L2, L1) and two sparsity-inducing norms (L0, L1), which are used in two different ways (constraint, penalty). Three of our formulations, notably the one with L0 constraint and L1 variance, have not been considered in the literature. We give a unifying reformulation which we propose to solve via a natural alternating maximization (AM) method. We show the the AM method is nontrivially equivalent to GPower (Journ\\'{e}e et al; JMLR 11:517--553, 2010) for all our formulations. Besides this, we provide 24 efficient parallel SPCA implementations: 3 codes (multi-core, GPU and cluster) for each of the 8 problems. Parallelism in the methods is aimed at i) speeding up computations (our GPU code can be 100 times faster than an efficient serial code written in C++), ii) obtaining solutions explaining more variance and iii) dealing with big data problems (our cluster code is able to solve a 357 GB problem in about a minute).

研究の動機と目的

• 異なる分散測定（L2, L1）とスパース性誘導ノルム（L0, L1）を制約またはペナルティの形で組み合わせた8つの異なるスパースPCA定式化を統一すること。
• すべての8つの定式化を一様に解ける、単一のスケーラブルなアルゴリズム「交互最大化（AM）」を開発すること。
• CPU、GPU、クラスタなどの多様なハードウェアプラットフォームで効率的な並列化を可能にし、計算を高速化し、大規模データを処理できること。
• 複数の初期点を用いたグローバライゼーション戦略を組み込むことで、説明される分散を増加させ、解の品質を向上させること。
• クラスタ実装を用いて、357 GBの密行列としてのデータ行列に対するスケーラビリティを実証すること。

提案手法

• スパースPCAを、分散（L2またはL1）とスパース性誘導項（L0またはL1）を組み合わせた目的関数を持つ、実行可能集合X上の最大化問題として定式化する。
• ローディングベクトルと補助変数の間で交互に最適化を行うことで、すべての8つの定式化を一様に解くための交互最大化（AM）法を適用する。
• 適切に構築された凸関数に適用した場合、AMが数学的にGPower法と同等であることを証明し、収束性と最適性の保証を得る。
• 高性能計算のため、CBLAS、OpenMP（マルチコア）、CuBLAS（GPU）、MPI/PBLAS（クラスタ）を用いた並列実装を実装する。
• 局所最適解から脱出でき、より多くの分散を説明できる解を得られるように、複数の初期点を用いたグローバライゼーション戦略を統合する。
• 効率的なメモリアクセスとカーネル最適化（例：GPU上のThrust）を用いて、ハードウェアの利用効率を最大化し、高いスループットを達成する。

実験結果

リサーチクエスチョン

• RQ1 異なる分散測定とスパース性の強制方法を組み合わせた8つの異なるスパースPCA定式化を、単一のアルゴリズムフレームワークで統一できるか？
• RQ2 交互最大化（AM）は、すべての定式化においてGPowerなどの既存手法と同等であり、収束性と最適性を保っているか？
• RQ3 AMの並列実装は、CPU、GPU、クラスタなどの多様なアーキテクチャで顕著な高速化を達成できるか、かつ解の品質を維持できるか？
• RQ4 複数の初期点を用いたグローバライゼーション戦略は、単一初期点法と比較して、説明される分散を向上させることができるか？
• RQ5 本フレームワークは、357 GBの密行列のような非常に大きなデータセットを、実用的な時間制限内でスケーリングできるか？

主な発見

• 提案された交互最大化（AM）フレームワークは、すべての8つのスパースPCA定式化を統一し、すべてのケースでAMがGPower法と数学的に同等であることを示した。
• GPU最適化実装は、高度に最適化されたシングルスレッドC++コードに対して最大100倍の高速化を達成し、大規模問題における顕著な加速効果を示した。
• クラスタ実装は、357 GBの完全に密行列のスパースPCA問題を1分未満で効率的に解き、大規模データ分析におけるスケーラビリティを実証した。
• 複数の初期点を用いたグローバライゼーション戦略により、複数の初期解を探索可能となり、解の品質が向上し、説明される分散が増加した。
• マルチコアおよびGPUコードは、シングルスレッド実行と比較して、1回の初期点あたり最大100倍の高速化を達成し、計算時間を顕著に短縮した。
• 8つの定式化のうち3つ（特にL1分散にL0またはL1スパース制約を組み合わせたもの）は、従来の文献では未解決であった。これにより、スパースPCAの理論的・実用的範囲が拡張された。