[論文レビュー] Generalized power method for sparse principal component analysis

Michel Journée, Yurii Nesterov+2 more|arXiv (Cornell University)|Nov 28, 2008

Image and Signal Denoising Methods参考文献 31被引用数 500

ひとこと要約

本稿では、非凸なスパース主成分分析（sparse PCA）問題を凸最適化問題に再定式化することで、勾配上昇を用いた効率的な計算を可能にする一般化されたパワー法を提案する。この手法は、特に高次元および生物学的データセットにおいて、既存のアルゴリズムと比較して解の品質と収束速度の両面で優れた性能を発揮し、ブロック形式の導入により生物学的解釈性が向上する。

ABSTRACT

In this paper we develop a new approach to sparse principal component analysis (sparse PCA). We propose two single-unit and two block optimization formulations of the sparse PCA problem, aimed at extracting a single sparse dominant principal component of a data matrix, or more components at once, respectively. While the initial formulations involve nonconvex functions, and are therefore computationally intractable, we rewrite them into the form of an optimization program involving maximization of a convex function on a compact set. The dimension of the search space is decreased enormously if the data matrix has many more columns (variables) than rows. We then propose and analyze a simple gradient method suited for the task. It appears that our algorithm has best convergence properties in the case when either the objective function or the feasible set are strongly convex, which is the case with our single-unit formulations and can be enforced in the block case. Finally, we demonstrate numerically on a set of random and gene expression test problems that our approach outperforms existing algorithms both in quality of the obtained solution and in computational speed.

研究の動機と目的

• 分散の説明と負荷ベクトルのスパarsityの両立を図る、より効率的かつ解釈可能なスパースPCAのアプローチを開発すること。
• 非凸なスパースPCAの定式化における計算の非効率性を解消するため、それらを凸最適化問題に変換すること。
• 単一ユニットおよびブロック最適化の定式化を通じて、既存のアルゴリズムを上回る収束性と性能を向上させること。
• ブロック手法を用いて複数のスパース成分を同時に抽出することで、高次元データにおける解釈性を向上させること。
• 特に生物学的意味のあるパターンを捉える能力に優れるため、ランダムおよび実世界の生物学的データにおいて優れた性能を示すこと。

提案手法

• スパースPCAの2つの単一ユニットおよび2つのブロック最適化定式化を提案し、非凸問題をコンact集合上での凸関数の最大化問題に変換する。
• スパarsity制約およびノルム1の制約のもとで、スパースPCAを凸関数の最大化問題として再定式化し、強凸性を活用して収束保証を実現する。
• 再定式化された問題に特化した単純な勾配上昇アルゴリズムを適用し、強凸性の仮定の下での収束解析を実施する。
• データ行列の列数が行数を上回る場合に次元削減戦略を適用し、探索空間を顕著に縮小する。
• 特に固有値が近い場合に解の品質を保証するため、ブロック定式化で最適性の証明を導入する。
• 不適切に定式化された問題に対する性能向上を図るため、最適性証明を備えたグリーディヒューリスティクスを実装する。

実験結果

リサーチクエスチョン

• RQ1 スパースPCAは、計算の tractability と収束性を向上させるために、凸最適化問題に再定式化可能か？
• RQ2 提案された一般化パワー法の性能は、既存のスパースPCAアルゴリズムと比較して、解の品質と速度の面でどのように異なるか？
• RQ3 スパースPCAのブロック定式化は、高次元の生物学的データにおいて、より優れた解釈性と性能をもたらすか？
• RQ4 強凸性は、提案された勾配ベースのアルゴリズムの高速収束を保証するために果たす役割は何か？
• RQ5 提案手法は、逐次的除外法と比較して、複数のスパース成分を同時により高い精度で抽出可能か？

主な発見

• 提案された一般化パワー法は、ランダムおよび遺伝子発現テスト問題において、既存のアルゴリズムを上回る計算速度と解の品質を達成する。
• ブロック定式化は、特に遺伝子発現データにおいて、より豊かな生物学的解釈を可能にする。これは、意味のある生物学的パターンをよりよく捉えているためである。
• 目的関数または可能解集合が強凸である場合、アルゴリズムは優れた収束特性を示す。これは単一ユニット定式化で保証される。
• データ行列の変数数が標本数を上回る場合、探索空間における次元削減が顕著に達成され、スケーラビリティが向上する。
• 数値実験により、提案手法が、説明される分散とスパarsityのトレードオフにおいて、最先端の手法を体系的に上回ることが確認された。
• 理論的解析により、強凸性のもとで勾配法が効率的に収束することが確認され、収束速度の明示的バウンドが得られた。