[論文レビュー] Solving Large-Scale Sparse PCA to Certifiable (Near) Optimality

Dimitris Bertsimas, Ryan Cory-Wright+1 more|London Business School Research Online (London Business School)|May 11, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用数 11

ひとこと要約

本稿では、スパースPCAを凸混合整数半定値最適化問題（MISDO）に再定式化することで、大規模なスパースPCAを証明可能な（近似）最適性まで解くためのカットプレーン法を提案する。$k=5$の特徴量を$p=300$変数から選択する場合に正確な最適性を達成し、より大きな問題では小さな最適性ギャップを提供する。高速な凸緩和と貪欲なラウンディングスキームにより、$p=1000$の場合に数分で1–2%のギャップを達成する。この手法により、ファイナンス、医療、および高次元データ解析分野における取り扱いやすく解釈可能な主成分が可能になる。

ABSTRACT

Sparse principal component analysis (PCA) is a popular dimensionality reduction technique for obtaining principal components which are linear combinations of a small subset of the original features. Existing approaches cannot supply certifiably optimal principal components with more than $p=100s$ of variables. By reformulating sparse PCA as a convex mixed-integer semidefinite optimization problem, we design a cutting-plane method which solves the problem to certifiable optimality at the scale of selecting k=5 covariates from p=300 variables, and provides small bound gaps at a larger scale. We also propose a convex relaxation and greedy rounding scheme that provides bound gaps of $1-2\%$ in practice within minutes for $p=100$s or hours for $p=1,000$s and is therefore a viable alternative to the exact method at scale. Using real-world financial and medical datasets, we illustrate our approach's ability to derive interpretable principal components tractably at scale.

研究の動機と目的

• 特に$p > 100$の変数を持つスケールで、証明可能な最適なスパースPCA解が不足している問題に対処する。
• 最適性保証がなく、しばしば最適解を回復できないヒューリスティック手法の限界を克服する。
• 大規模スパースPCA問題に対して、証明可能な最適性ギャップを提供するスケーラブルな正確な手法を開発する。
• $p=1000$の場合に数分で1–2%の最適性ギャップを達成する、高速で実用的な緩和とラウンディングスキームを設計する。
• 医療診断、ファイナンス、タンパク質折りたたみなど、実世界の応用分野における解釈可能な次元削減を可能にする。

提案手法

• スパースPCAを凸混合整数半定値最適化問題（MISDO）に再定式化することで、正確なグローバル最適化を可能にする。
• 有効なカットを逐次追加することで双対緩和を強化するカットプレーン法を開発し、最適値の下界を向上させる。
• 非負のスケーリング対角優勢行列による完全正定値錐の凸緩和を用い、スパースPCA問題を効率的に近似する。
• 緩和解に対して貪欲なラウンディングスキームを実装し、小さな最適性ギャップを持つ妥当なスパース主成分を生成する。
• Ky-Fan定理と半定値計画法の双対性を活用して強力な双対境界を導出し、カットプレーンアルゴリズムを支援する。
• 適切なMISDO定式化を用いて、長方形行列および共通または分離サポートを持つ複数の主成分にフレームワークを拡張する。

実験結果

リサーチクエスチョン

• RQ1 スケールが大きく、特に$p=300$以上の場合にスパースPCAを証明可能な最適性で解くことができるか。
• RQ2 提案されたカットプレーン法は、大規模スパースPCA問題における最適性ギャップをどれほど効果的に削減できるか。
• RQ3 高速な凸緩和とラウンディングスキームは、$p=1000$の場合に数分で1–2%のギャップを達成できるか。
• RQ4 解の質と信頼性の観点から、従来のヒューリスティック手法と比較して本手法はどのように優れているか。
• RQ5 本フレームワークは、複数の主成分および長方形行列の定式化にどの程度拡張可能か。

主な発見

• カットプレーン法は、$p=300$変数から選択された$k=5$の特徴量に対して、証明可能な最適性を達成した。
• より大きな問題では、小さな最適性ギャップを提供し、従来の正確な手法の限界を超えた実用的なスケーラビリティを示した。
• 凸緩和と貪欲なラウンディングスキームにより、$p=100$では数分、$p=1000$では数時間で1–2%の最適性ギャップを達成した。
• 本手法は、実世界の金融および医療データセットにおいて解釈可能な主成分を効果的に導出し、実用的価値を検証した。
• 共通または分離サポートを持つ複数の主成分に一般化され、スケーラビリティと最適性保証を維持した。
• サブ最適解が検出されないリスクを避けるために、証明可能な境界を提供する点で、ヒューリスティック代替手法を上回った。