[論文レビュー] An Augmented Lagrangian Approach for Sparse Principal Component Analysis

Zhaosong Lu, Yong Zhang|ArXiv.org|Jul 13, 2009

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、全変数の密集した線形結合である標準PCAにおける解釈可能性の問題に対処するため、スパースでほぼ無相関な主成分を生成するとともに、正規直交なローディングベクトルを維持しながら、説明分散を最大化する、新しいスパースPCAの定式化を提案する。非単調勾配部分問題を用いた増大ラグランジュ法を導入し、グローバル収束を達成し、合成データ、ランダムデータ、実データにおいて、分散説明率、低相関、直交性の面で既存手法を上回る性能を示す。

ABSTRACT

Principal component analysis (PCA) is a widely used technique for data analysis and dimension reduction with numerous applications in science and engineering. However, the standard PCA suffers from the fact that the principal components (PCs) are usually linear combinations of all the original variables, and it is thus often difficult to interpret the PCs. To alleviate this drawback, various sparse PCA approaches were proposed in literature [15, 6, 17, 28, 8, 25, 18, 7, 16]. Despite success in achieving sparsity, some important properties enjoyed by the standard PCA are lost in these methods such as uncorrelation of PCs and orthogonality of loading vectors. Also, the total explained variance that they attempt to maximize can be too optimistic. In this paper we propose a new formulation for sparse PCA, aiming at finding sparse and nearly uncorrelated PCs with orthogonal loading vectors while explaining as much of the total variance as possible. We also develop a novel augmented Lagrangian method for solving a class of nonsmooth constrained optimization problems, which is well suited for our formulation of sparse PCA. We show that it converges to a feasible point, and moreover under some regularity assumptions, it converges to a stationary point. Additionally, we propose two nonmonotone gradient methods for solving the augmented Lagrangian subproblems, and establish their global and local convergence. Finally, we compare our sparse PCA approach with several existing methods on synthetic, random, and real data, respectively. The computational results demonstrate that the sparse PCs produced by our approach substantially outperform those by other methods in terms of total explained variance, correlation of PCs, and orthogonality of loading vectors.

研究の動機と目的

• 標準PCAでは主成分がすべての変数の密集した線形結合であるため、解釈性に問題が生じるという点を解決すること。
• 標準PCAの主な性質を保つスパースPCA手法の開発：無相関な主成分、直交するローディングベクトル、最大の説明分散。
• 直交性、無相関性、分散最大化のいずれかを犠牲にしている既存のスパースPCA手法の限界を克服すること。
• 滑らかでない、制約付きのスパースPCA問題に対して、グローバル収束する最適化フレームワークの設計。

提案手法

• ローディングベクトルのスパース性を強制するとともに、合計説明分散を最大化し、主成分のほぼ無相関性と直交性を維持する、新しいスパースPCA定式化を提案する。
• スパースPCA定式化に由来する滑らかでない制約付き最適化問題のクラスを解くための、画期的な増大ラグランジュ法を開発する。
• 弱い正則性仮定の下で、増大ラグランジュ法が実行可能点にグローバル収束し、局所的に停留点に収束することを確立する。
• 増大ラグランジュ部分問題を効率的に解くための2つの非単調勾配法を導入し、グローバルおよび局所収束を保証する。
• 非滑らか性および非凸性を有するスパースPCA問題に対処するために、増大ラグランジュ双対関数を用いる。
• 再定式化されたスパースPCA問題（式3）を解くために、スパース性、直交性、分散最大化のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 スパース性と高い分散説明率を達成しつつ、ローディングベクトルの直交性と主成分のほぼ無相関性を保つようなスパースPCA定式化を設計できるか？
• RQ2 提示された増大ラグランジュ法は、滑らかでない、非凸なスパースPCA問題に対して、実行可能解にグローバル収束するか？
• RQ3 非単調勾配法は、収束が保証される増大ラグランジュ部分問題を効果的に解けるか？
• RQ4 真の共分散構造がスパース的でよく推定できる場合、提案手法はスパースで無相関な主成分を高分散説明率で回復できるか？
• RQ5 スパース性、相関、直交性、分散説明率の観点から、既存のスパースPCA技術と比較して、本手法はどのように優れているか？

主な発見

• 提案手法ALSPCAは、Pitpropsデータにおいて69.55%という著しく高い合計分散説明率を達成した。これは、SPCA（66.21%）、rSVD（67.04%）、DSPCA（60.97%）、GPower $l_1$（64.15%）を上回る。
• ALSPCAは、相関係数がたった0.082（ALSPCA-1）のほぼ無相関な主成分を生成した。これは、SPCA（0.395）やDSPCA（0.573）よりも顕著に低い。
• ローディングベクトルの直交性は、非直交性値が0.03という非常に低い水準で維持された。これは、rSVD（14.76）やDSPCA（13.63）と比較して顕著に優れている。
• ALSPCA-3は完全な直交性（非直交性 = 0.00）を達成した一方で、高い分散説明率（65.97%）と低い相関（0.222）を維持した。
• 弱い仮定の下で、実行可能点にグローバル収束し、停留点に局所収束するという性質を示し、収束性と理論的整合性の両面で優れた性能を発揮した。
• 合成データ、ランダムデータ、実データにおける計算結果から、ALSPCAは分散説明率、相関、直交性というすべての主要指標において、一貫して既存手法を上回ることが確認された。