[論文レビュー] Sparse PCA With Multiple Components

Ryan Cory-Wright, Jean Pauphilet|arXiv (Cornell University)|Sep 29, 2022

Sparse and Compressive Sensing Techniques被引用数 8

ひとこと要約

本稿では、複数の成分を伴うスパース主成分分析（PCA）のための3つの新しいアルゴリズムを提案する。これらのアルゴリズムは、直交性と近似的に最適な分散説明を保証する。半定値緩和、ラグランジュ分解、組合せ的上界を組み合わせることで、特徴量が数千個のデータセットに対し、数分で証明可能な近似的最適解を達成する。従来のデフラクションベースの手法とは異なり、直交性制約を破るが、本手法はそれを回避する。

ABSTRACT

Sparse Principal Component Analysis (sPCA) is a cardinal technique for obtaining combinations of features, or principal components (PCs), that explain the variance of high-dimensional datasets in an interpretable manner. This involves solving a sparsity and orthogonality constrained convex maximization problem, which is extremely computationally challenging. Most existing works address sparse PCA via methods-such as iteratively computing one sparse PC and deflating the covariance matrix-that do not guarantee the orthogonality, let alone the optimality, of the resulting solution when we seek multiple mutually orthogonal PCs. We challenge this status by reformulating the orthogonality conditions as rank constraints and optimizing over the sparsity and rank constraints simultaneously. We design tight semidefinite relaxations to supply high-quality upper bounds, which we strengthen via additional second-order cone inequalities when each PC's individual sparsity is specified. Further, we derive a combinatorial upper bound on the maximum amount of variance explained as a function of the support. We exploit these relaxations and bounds to propose exact methods and rounding mechanisms that, together, obtain solutions with a bound gap on the order of 0%-15% for real-world datasets with p = 100s or 1000s of features and r \in {2, 3} components. Numerically, our algorithms match (and sometimes surpass) the best performing methods in terms of fraction of variance explained and systematically return PCs that are sparse and orthogonal. In contrast, we find that existing methods like deflation return solutions that violate the orthogonality constraints, even when the data is generated according to sparse orthogonal PCs. Altogether, our approach solves sparse PCA problems with multiple components to certifiable (near) optimality in a practically tractable fashion.

研究の動機と目的

• r > 1の場合に、同時にスパースかつ互いに直交する主成分を生成し、最適性の保証を提供する手法の不足に対処すること。
• スパース性を強制した際、直交性を保持できないという欠陥を持つデフラクションベースの手法の制限を克服すること。
• 複数の成分を伴うスパースPCA問題を、証明可能な近的最適性にまで到達可能な実用的で扱いやすいアルゴリズムを開発すること。
• 複数の緩和とラウンディング戦略を通じて、タイトな上界と高品質な実行可能解を提供すること。
• 既存の最先端手法と比較して、分散説明のパフォーマンスと直交性の満たし方において、実験的に優れた性能を示すこと。

提案手法

• スパースPCAを、スパース性と直交性制約を伴う非凸・非滑らか最適化問題として定式化する。
• 直交性をランク制約として再定式化し、2次錐不等式を用いて強化することで、タイトな半定値緩和を構築する。
• 直交性の違反をペナルティ化するラグランジュ分解アプローチを提案し、逐次的な1成分スパースPCA問題への分解を可能にする。
• 与えられたサポートパターンに対して、混合整数線形最適化を用いて新しい組合せ的上界を導入し、緩和・ラウンディング方式を可能にする。
• 最もタイトな既存の上界（半定値緩和から得られるもの）を用いて、境界ギャップを計算し、近的最適性を証明する。
• ハイブリッド戦略を採用：3つのアルゴリズムすべてにおいて、最高の上界と最高の実行可能解を組み合わせることで、高品質な出力を保証する。

実験結果

リサーチクエスチョン

• RQ1 デフラクションベースの手法とは異なり、直交性と近的最適性を保証する、複数の成分を伴うスパースPCAの手法を開発できるか？
• RQ2 任意のスパースかつ互いに直交する成分が説明可能な分散の、最もタイトな上界は何か？
• RQ3 逐次的に最適化するのではなく、同時に複数のスパースかつ直交する成分を最適化できる、実行可能なアルゴリズムをどのように設計できるか？
• RQ4 p = 1000s かつ r ∈ {2,3} の実世界データセットにおいて、境界ギャップを3%未満に抑えることができるか？
• RQ5 分散説明のパフォーマンスと制約の満たし方において、提案手法は既存手法と比べてどのように優れているか？

主な発見

• kr ≤ p の場合、UCIデータセット全体で平均境界ギャップが3.11%に達し、kr > p の場合は2.82%に低下し、近的最適解であることが示された。
• アルゴリズム3は、kr ≤ p のデータセットで平均境界ギャップ3.11%の証明可能な近的最適解を提供する。一方、アルゴリズム2はkr > p の場合に2.82%の境界ギャップを達成する。
• 3つのアルゴリズムすべてがスパースかつ直交する主成分を返すが、デフラクションベースの手法は、データがスパース直交PCから生成された場合ですら、直交性を破る。
• すべての手法の中で最高の解は、常に既存手法を上回る分散説明性能を示し、実世界データセットでも確認された。
• p = 1000s のデータセットに対して、平均100秒以内で実行可能であり、実用的なスケーラビリティを示した。
• 対称的スパース性（k_t = k/r）を採用すると、実行時間が1桁増加するが、分散説明の平均増加はわずか2%にとどまり、スパース設計におけるトレードオフが明らかになった。