[論文レビュー] A convex integer programming approach for optimal sparse PCA

Santanu S. Dey, Rahul Mazumder+1 more|arXiv (Cornell University)|Oct 22, 2018

Sparse and Compressive Sensing Techniques参考文献 34被引用数 9

ひとこと要約

この論文は、共分散行列が2000×2000に達するまでに、解の品質とスケーラビリティの面で標準的な半正定値プログラミング（SDP）緩和法を著しく上回る、スパース主成分分析（SPCA）のための凸整数プログラミング（IP）フレームワークを提案する。このフレームワークは、最適性の証明を提供する双対境界を介して、近似的に最適な解を達成する。

ABSTRACT

Principal component analysis (PCA) is one of the most widely used dimensionality reduction tools in scientific data analysis. The PCA direction, given by the leading eigenvector of a covariance matrix, is a linear combination of all features with nonzero loadings---this impedes interpretability. Sparse principal component analysis (SPCA) is a framework that enhances interpretability by incorporating an additional sparsity requirement in the feature weights (factor loadings) while finding a direction that explains the maximal variation in the data. However, unlike PCA, the optimization problem associated with the SPCA problem is NP-hard. While many heuristic algorithms based on variants of the power method are used to obtain good solutions, they do not provide certificates of optimality on the solution-quality via associated dual bounds. Dual bounds are available via standard semidefinite programming (SDP) based relaxations, which may not be tight and the SDPs are difficult to scale using off-the-shelf solvers. In this paper, we present a convex integer programming (IP) framework to solve the SPCA problem to near-optimality, with an emphasis on deriving associated dual bounds. We present worst-case results on the quality of the dual bound provided by the convex IP. We empirically observe that the dual bounds are significantly better than worst-case performance, and are superior to the SDP bounds on some real-life instances. Moreover, solving the convex IP model using commercial IP solvers appears to scale much better that solving the SDP-relaxation using commercial solvers. To the best of our knowledge, we obtain the best dual bounds for real and artificial instances for SPCA problems involving covariance matrices of size up to $2000 imes 2000$.

研究の動機と目的

• ヒューリスティックなSPCA手法に欠ける最適性の証明を、凸IP定式化による双対境界を用いて補完すること。
• 大規模なSPCA問題における半正定値プログラミング（SDP）緩和法のスケーラビリティの限界を克服すること。
• 近似的に最適な解に加え、証明可能な境界を提供する凸IPモデルを構築すること。
• 実際のデータおよび人工データのインスタンスにおいて、凸IPフレームワークの双対境界が標準的なSDP緩和法のそれよりもタイトであることを実証的に示すこと。
• 2000×2000の共分散行列までに、SPCA問題における双対境界品質の分野で最先端のフレームワークを確立すること。

提案手法

• 因子負荷のスパarsityを強制するために、二値変数を導入することで、スパースPCA問題を凸混合整数計画問題として定式化する。
• 非凸なスパースPCA問題の凸緩和を用いることで、商用IPソルバを用いた効率的な解法を可能にする。
• 整数プログラミングの双対性理論を用いて双対境界を導出し、解の品質に関する証明を提供する。
• 元の非凸問題を、強い双対性を保持する凸IPモデルに再定式化する技術を適用する。
• 商用最適化ソルバを活用して、従来のSDPソルバをはるかに超えるスケーラビリティを実現する凸IPモデルを効率的に解く。
• 実データおよび人工データ上でアプローチを検証し、SDPベースの手法と比較して双対境界と解法時間を評価する。

実験結果

リサーチクエスチョン

• RQ1 凸整数プログラミング定式化は、標準的な半正定値プログラミング緩和法よりも、スパースPCAに対してタイトな双対境界を提供できるか？
• RQ2 大規模なSPCA問題において、凸IPアプローチのスケーラビリティはSDPベースの手法と比べてどの程度優れているか？
• RQ3 凸IPフレームワークは、双対境界を提供しつつ、どの程度スパースPCAで近似的に最適な解に到達できるか？
• RQ4 提案手法は、証明可能な保証のもとで、既存のヒューリスティックアルゴリズムを解の品質の面で上回るか？
• RQ5 2000×2000の共分散行列に対して、商用ソルバを用いて凸IPモデルを効果的に解くことができるか？

主な発見

• 凸IPフレームワークは、理論的最悪ケースの期待値を著しく上回る双対境界を提供し、特に実世界および人工インスタンスにおいて顕著である。
• いくつかの実生活におけるSPCAインスタンスにおいて、凸IPアプローチの双対境界は、標準的なSDP緩和法のそれよりも優れている。
• 商用IPソルバを用いた凸IPモデルは、商用SDPソルバを用いたSDP緩和法よりも、特に大規模な行列においてははるかに優れたスケーラビリティを示す。
• 2000×2000の共分散行列に対して、本手法は、文献におけるSPCA問題の最良の既知の双対境界を達成している。
• 本手法は、双対境界を介して解の品質に関する証明を提供する近似的に最適な解を提供し、ヒューリスティックなSPCAアルゴリズムの主要な限界を克服している。