[論文レビュー] Sparse PCA: Convex Relaxations, Algorithms and Applications

Youwei Zhang, Alexandre d’Aspremont+1 more|arXiv (Cornell University)|Nov 16, 2010

Sparse and Compressive Sensing Techniques被引用数 4

ひとこと要約

この論文は、スパース主成分分析（SPCA）のための凸緩和と効率的なアルゴリズムを提案し、統計的忠実性と解釈可能性のトレードオフを、主成分のスパarsityを促進することで扱う。スパiked共分散モデル下で真のスパース固有ベクトルのサポートを回復するという統計的最適性を達成する半定値計画法の緩和を導入し、特にサンプル数が限られた状況でも、しきい値処理やグリーディ法を凌駕する性能を示す。

ABSTRACT

Given a sample covariance matrix, we examine the problem of maximizing the variance explained by a linear combination of the input variables while constraining the number of nonzero coefficients in this combination. This is known as sparse principal component analysis and has a wide array of applications in machine learning and engineering. Unfortunately, this problem is also combinatorially hard and we discuss convex relaxation techniques that efficiently produce good approximate solutions. We then describe several algorithms solving these relaxations as well as greedy algorithms that iteratively improve the solution quality. Finally, we illustrate sparse PCA in several applications, ranging from senate voting and finance to news data.

研究の動機と目的

• 高次元データにおける主成分の解釈の難しさに対処するため、負荷のスパarsityを強制すること。
• NP困難なスパースPCA問題を効率的に近似する凸緩和技術を開発すること。
• 特にサンプルサイズが限られた状況下でも、高次元でノイズの多いデータにおける真のスパース成分のサポート回復を改善すること。
• 実世界および合成データにおいて、凸緩和とグリーディ法・しきい値処理法の性能を比較すること。
• 提案された半定値緩和の統計的最適性に関する理論的保証を確立すること。

提案手法

• 非凸な基数制約を凸なトレースノルム緩和に置き換えることで、スパースPCA問題の半定値緩和を提案する。
• トレースノルムペナルティを用いて解の低ランク構造とスパarsityを促進し、凸最適化問題に帰着させる。
• 与えられたスパarsityパラメータρに対して、内点法を用いて複雑度O(n⁴√log n)でその結果となる半定値計画問題を解く。
• 反復的に変数をサポートに追加するグリーディアルゴリズムを導入し、1ステップあたりO(n³)の計算量で解の品質を向上させる。
• 実世界のデータセット（上院投票、株価リターン、ニュースグループデータなど）に緩和法を適用し、性能を検証する。
• ROC曲線とAUROC指標を用いて、緩和法の性能をしきい値処理法、グリーディ法、近似グリーディ法と比較する。

実験結果

リサーチクエスチョン

• RQ1 凸緩和は、組み合わせ的スパースPCAの代替として、実行可能かつ統計的最適な手法となり得るか？
• RQ2 半定値緩和の性能は、真のスパース成分のサポート回復において、しきい値処理法やグリーディ法と比べてどのように異なるか？
• RQ3 半定値緩和が真のサポートを高い確率で回復するためのサンプルサイズの閾値は何か？
• RQ4 自然行列およびランダム行列を含むさまざまなデータタイプにおいて、緩和法の性能はどのように変化するか？
• RQ5 複数のスパース主成分を同時に計算する際にも、統計的・計算的効率性を維持できるように、緩和法を拡張できるか？

主な発見

• 半定値緩和は統計的最適性を達成し、スパikedモデル下で、真の主固有ベクトルのサポートを回復するにあたり、しきい値処理法よりもO(1/k)少ないサンプル数を要する。
• m/(k log(n−k)) の比が臨界閾値を超えると、緩和法は確率が1に近づくまで真のサポートを回復する。
• 比が特定の閾値未満に下がると、緩和法は確率1で失敗し、回復性能にきわめて鋭い段階的転移が生じることが示された。
• 数値実験では、特に小さなサンプルサイズ（例：m=400）の下で、半定値緩和法がしきい値処理法やグリーディ法を著しく上回り、AUROCで優れた性能を示した。
• 上院投票記録や株式市場リターンといった実世界のデータセットにおいても、緩和法は強力な性能を維持し、実用的有用性を示した。
• 理論的分析により、組み合わせ的あるいはそれ以外のいかなる手法でも、半定値緩和法よりも少ないサンプル数で真のサポートを回復することは、定数倍の要因を除き不可能であることが示された。