[論文レビュー] Approximation Algorithms for Sparse Principal Component Analysis

Agniva Chowdhury, Petros Drineas+2 more|arXiv (Cornell University)|Jun 23, 2020

Sparse and Compressive Sensing Techniques参考文献 36被引用数 4

ひとこと要約

本稿では、入力共分散行列に制限的な仮定を課さずに、保証された精度と多項式時間の解を得る2つのスパース主成分分析（SPCA）のしきい値ベースの近似アルゴリズムを提示する。最初の手法は、SVDにしきい値処理を適用することで高速で実用的な性能を達成する。2番目の手法は、半定値計画法（SDP）と、独自の2段階決定的しきい値処理スキームを組み合わせ、理論的保証が強く、実効的結果ともよく一致する。このように、理論と実践のギャップを効果的に埋め合わせる。

ABSTRACT

Principal component analysis (PCA) is a widely used dimension reduction technique in machine learning and multivariate statistics. To improve the interpretability of PCA, various approaches to obtain sparse principal direction loadings have been proposed, which are termed Sparse Principal Component Analysis (SPCA). In this paper, we present thresholding as a provably accurate, polynomial time, approximation algorithm for the SPCA problem, without imposing any restrictive assumptions on the input covariance matrix. Our first thresholding algorithm using the Singular Value Decomposition is conceptually simple; is faster than current state-of-the-art; and performs well in practice. On the negative side, our (novel) theoretical bounds do not accurately predict the strong practical performance of this approach. The second algorithm solves a well-known semidefinite programming relaxation and then uses a novel, two step, deterministic thresholding scheme to compute a sparse principal vector. It works very well in practice and, remarkably, this solid practical performance is accurately predicted by our theoretical bounds, which bridge the theory-practice gap better than current state-of-the-art.

研究の動機と目的

• 入力共分散行列に制限的な仮定を課さずに、効率的で保証された精度を持つSPCAの近似アルゴリズムを開発すること。
• 理論的境界が現実の性能を正確に予測するアルゴリズムを設計することで、SPCAにおける理論と実践のギャップを是正すること。
• 単純で高速なSVDベースのしきい値処理による、実行時間と精度のトレードオフを提供すること。
• SDP緩和に新しい2段階決定的しきい値処理スキームを導入することで、SPCAの理論的保証を強化すること。
• これらの手法をスパースカーネルPCAへの適用可能性に拡張すること。

提案手法

• 最初のアルゴリズムである spca-svd は、入力共分散行列 A のSVDによって得られる上位の特異ベクトルにしきい値処理を適用し、保証された近似性能を持つスパースなベクトルを生成する。
• 2番目のアルゴリズムである spca-sdp は、既知の半定値計画法（SDP）緩和問題を解き、その後、2段階の決定的しきい値処理を施してスパース主成分を抽出する。
• 理論的分析により、入力行列 A のスペクトルから導かれる定数 α と β を用いて近似誤差を境界づける。実データセットでは、これらが実際には 1 に非常に近い。
• アルゴリズムは、スパarsity（‖x‖₀ ≤ k）を維持しながら、単位ノルム制約下でレイリー商 xᵀAx を最大化することを目的として設計されている。
• 特異値分解の性質とSDP緩和の構造を用いて理論的境界を導出し、多項式時間の計算量を保証する。
• カーネル行列に同じしきい値処理フレームワークを適用することで、スパースカーネルPCAへの応用が可能になる。

実験結果

リサーチクエスチョン

• RQ1 入力共分散行列に制限的な仮定を課さずに、しきい値処理を保証された精度と多項式時間のSPCA近似アルゴリズムとして用いることは可能か？
• RQ2 SVDベースのしきい値処理アプローチ（spca-svd）は、理論的境界が劣悪な性能を予測するにもかかわらず、実際には強く性能を発揮するのはなぜか？
• RQ3 SDP緩和に新しい2段階決定的しきい値処理スキームを適用することで、強力な理論的保証と実効的性能の正確な予測が両立可能か？
• RQ4 spca-svd、spca-lowrank、spca-sdp の理論的境界は、実際の性能においてどのように比較されるか。特に理論と実践のギャップに注目して。
• RQ5 提案されたアルゴリズムは、最適なスパース主成分ベクトル x* のサポートを、最適値 Z* の近似のみではなく、正確に回復できるか？

主な発見

• spca-svd アルゴリズムは高速な実行時間と優れた実用的性能を達成するが、理論的境界がその精度を予測できず、顕著な理論と実践のギャップを示している。
• SDP緩和に2段階しきい値処理を適用する spca-sdp アルゴリズムは、理論的境界が常に 1 に非常に近く、実際の高い精度を正確に予測している。
• HGDP/HapMap や遺伝子発現データなどの実データセットでは、理論的境界に現れる定数 α と β が 1 に非常に近く、spca-sdp の優れた性能を説明している。
• spca-svd の理論的境界は、スパースリティが低い場合に意味を持たない（負値）一方、spca-sdp の境界は、全テストスパースリティレベルで正でタイトなまま保たれる。
• スペクトルが良好に振る舞う状況では、spca-sdp は spca-svd や spca-lowrank よりも理論的精度保証で優れている。
• 実験結果から、spca-sdp の理論的境界は実際の精度比とほとんど区別できず、理論と実践のギャップが効果的に埋め合わされていることが示された。