[論文レビュー] Exact and Approximation Algorithms for Sparse PCA

Yongchun Li, Weijun Xie|arXiv (Cornell University)|Aug 28, 2020

Sparse and Compressive Sensing Techniques参考文献 36被引用数 6

ひとこと要約

本稿では、固有値分解と固有値の性質を活用することで、スパースPCAのための2つの正確な混合整数二次錐計画法（MISDP）を提案し、従来の手法よりも強い連続緩和境界を提供する。さらに、高精度なMILP近似を導入し、グリーディおよび局所探索アルゴリズムの近似比を厳密に証明することで、スパースPCAおよびR1-SSVDやフェアPCAへの拡張に対してスケーラブルかつ最適な解法を実現する。

ABSTRACT

Sparse PCA (SPCA) is a fundamental model in machine learning and data analytics, which has witnessed a variety of application areas such as finance, manufacturing, biology, healthcare. To select a prespecified-size principal submatrix from a covariance matrix to maximize its largest eigenvalue for the better interpretability purpose, SPCA advances the conventional PCA with both feature selection and dimensionality reduction. This paper proposes two exact mixed-integer SDPs (MISDPs) by exploiting the spectral decomposition of the covariance matrix and the properties of the largest eigenvalues. We then analyze the theoretical optimality gaps of their continuous relaxation values and prove that they are stronger than that of the state-of-art one. We further show that the continuous relaxations of two MISDPs can be recast as saddle point problems without involving semi-definite cones, and thus can be effectively solved by first-order methods such as the subgradient method. Since off-the-shelf solvers, in general, have difficulty in solving MISDPs, we approximate SPCA with arbitrary accuracy by a mixed-integer linear program (MILP) of a similar size as MISDPs. To be more scalable, we also analyze greedy and local search algorithms, prove their first-known approximation ratios, and show that the approximation ratios are tight. Our numerical study demonstrates that the continuous relaxation values of the proposed MISDPs are quite close to optimality, the proposed MILP model can solve small and medium-size instances to optimality, and the approximation algorithms work very well for all the instances. Finally, we extend the analyses to Rank-one Sparse SVD (R1-SSVD) with non-symmetric matrices and Sparse Fair PCA (SFPCA) when there are multiple covariance matrices, each corresponding to a protected group.

研究の動機と目的

• スパースPCAに対して、$||\mathbf{x}||_0 = k$ を厳密に満たす正確な手法が不足しているという問題に対処すること。
• 既存の半正定値計画法（SDP）緩和法よりも、スパースPCAのよりタイトな連続緩和境界を構築すること。
• 大規模スパースPCAに対して、保証された近似比を有するスケーラブルな近似アルゴリズムを設計すること。
• ランク1スパースSVD（R1-SSVD）および複数のグループ共分散行列を有するスパースフェアPCA（SFPCA）へのフレームワークの拡張すること。
• 任意の精度で最適なSPCA解を近似可能な実用的でソルバーフrndlyなMILPモデルを提供すること。

提案手法

• 固有値分解と最大固有値の性質を用いて、SPCAのための2つの新しい正確な混合整数半正定値計画法（MISDP）を定式化する。
• MISDPの連続緩和境界を強化する2つの強力なコネックス有効不等式を導出する。
• MISDPの連続緩和を半正定値錐を含まないサドルポイント問題に再定式化し、勾配法を用いた1次オーダーのアルゴリズムで解けるようにする。
• 任意の精度でSPCAを近似可能で、Gurobiなどの標準ソルバで解ける混合整数線形計画法（MILP）を提案する。
• MISDPの連続緩和値を活用して、MILPモデルのサイズをさらに削減する。
• グリーディおよび局所探索アルゴリズムを、SPCAに対して保証されたタイトな近似比を有する形で開発し、ランク1行列緩和とフェアネス制約を用いてR1-SSVDおよびSFPCAへの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 スパースPCAに対して、$||\mathbf{x}||_0 = k$ を厳密に満たす正確な混合整数半正定値計画法を構築できるか？
• RQ2 提案されたMISDPの連続緩和境界は、既存のSDP緩和法と比較して最適性ギャップの観点でどの程度優れているか？
• RQ3 MISDPの連続緩和は半正定値錐を含まずに効率的に解けるか？また、達成可能な収束速度はどの程度か？
• RQ4 グリーディおよび局所探索アルゴリズムのSPCAに対する近似比は何か？これらの境界はタイトか？
• RQ5 提案されたフレームワークは、複数のグループ共分散行列を有するR1-SSVDおよびスパースフェアPCAに拡張可能か？また、緩和が正確である条件は何か？

主な発見

• 提案されたMISDPの連続緩和値は、最先端のSDP緩和法よりも厳密に強く、保証されたよりタイトな最適性ギャップを有する。
• MISDPの連続緩和は、$O(1/T)$ の収束速度を有する勾配法で解けるサドルポイント問題に再定式化可能である。
• 勾配法における射影オракルは、二次錐計画法に簡略化され、SDPソルバを必要とせず計算的に実行可能である。
• 提案されたMILPモデルは、任意の精度で最適なSPCA解を近似可能であり、小規模および中規模のインスタンスを最適に解ける。
• グリーディおよび局所探索アルゴリズムは、SPCAに対して初めての近似比を達成し、その境界がタイトであることが証明されている。
• $s=2$ 個のグループを有するスパースフェアPCAの場合、提案されたMISDP定式化は正確である。$s>2$ の場合、低ランク解を用いて有効な上界を提供する。