[論文レビュー] A direct formulation for sparse PCA using semidefinite programming

Alexandre d’Aspremont, Laurent El Ghaoui+2 more|ArXiv.org|Jun 16, 2004

Sparse and Compressive Sensing Techniques参考文献 29被引用数 126

ひとこと要約

本論文は、負荷係数の基数制約の下で説明される分散を最大化するように定式化された半定値計画（SDP）として、スパース主成分分析（SPCA）の直接的凸最適化アプローチを提案する。この手法は半定値緩和を用いてスパarsityを達成し、ネステロフの滑らか最小化を用いて効率的な解法を可能にし、多項式時間でグローバルに最適な緩和が得られ、収束性が保証され、高次元データにおける解釈可能性が向上する。

ABSTRACT

We examine the problem of approximating, in the Frobenius-norm sense, a positive, semidefinite symmetric matrix by a rank-one matrix, with an upper bound on the cardinality of its eigenvector. The problem arises in the decomposition of a covariance matrix into sparse factors, and has wide applications ranging from biology to finance. We use a modification of the classical variational representation of the largest eigenvalue of a symmetric matrix, where cardinality is constrained, and derive a semidefinite programming based relaxation for our problem. We also discuss Nesterov's smooth minimization technique applied to the SDP arising in the direct sparse PCA method.

研究の動機と目的

• すべての変数を含む密度的な負荷係数による標準PCAの解釈不能性の問題に対処する。
• 基数制御を用いて直接的にスパarsity制約を組み込む凸緩和としてスパースPCA問題を構築する。
• 非凸的または局所最適解に陥る手法を避けるために、半定値プログラミングを用いたグローバルに最適な解法フレームワークを提供する。
• 1次元スムージング技術を用いて大規模問題に対する計算を効率化し、メモリ使用量と反復コストを低減する。
• 遺伝子発現解析やファイナンシャルモデリングを含む実世界の応用において、スパarsityと精度のトレードオフが向上することを示す。

提案手法

• 負荷ベクトルの基数制約の下で分散を最大化する非凸問題としてスパースPCAを定式化する。
• 最大固有値の変分的特徴付けを用いて、基数制約付きの半定値緩和を導出する。
• SDPを構築する：最大化 Tr(AX) ただし、Tr(X)=1、1^T|X|1 ≤ k、X ⪰ 0 を満たす。ここでXは正定値行列である。
• SDPの双対問題にネステロフの滑らか最小化技術を適用し、ε-精度でO(n^4√log(n)/ε)の複雑度を達成する。
• Moreau-Yosida正則化を用いて双対問題をスムージングし、低メモリ使用量の1次元手法を可能にする。
• SDP解から得られる最適X行列の主固有ベクトルを抽出することで、スパース主成分を回復する。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック手法よりも、スパarsityと説明される分散のバランスをより効果的にとれる、スパースPCAの直接的凸定式化は得られるか？
• RQ2 既存の非凸的またはヒューリスティックな手法と比較して、スパースPCA問題の半定値緩和は、解の品質と計算効率の面でどのように異なるか？
• RQ3 基数制約kにおけるパrameter kが、実際に得られる主成分のスパarsityにどの程度影響を与えるか？
• RQ4 大規模なSDPがスパースPCAで生じる場合、1次元スムージング手法は、メモリ使用量と時間的複雑度を低減するために効果的に適用可能か？
• RQ5 遺伝子発現データ解析のような実世界の応用において、特に少ない活性遺伝子数でクラスタ構造を保持できるか、本手法はどのように性能を発揮するか？

主な発見

• 本手法は、説明される分散とスパarsityの間で良好なトレードオフを達成する：ピットプロップスデータでは、標準PCAと同等の累積分散を、顕著にスパースな成分で達成する。
• k+1を真の基数（例：5）に設定した場合、10×10行列のテスト例の100%で元のスパarsityパターンが回復される。
• CPU時間は100から800の問題サイズにおいて、O(n³)として経験的にスケーリングされ、ε=10⁻³の収束が60,000回未満の反復で達成される。
• 遺伝子発現データ（n=500）では、DSPCAは合計14個の遺伝子（6, 4, 4の非ゼロ負荷）を用いて3つのスパース要因を生成するが、標準PCAでは1,500個の非ゼロ負荷が発生する。
• わずかなクラスタ分解能の低下はあるが、DSPCAは少ない活性遺伝子数で主要な生物学的クラスタ構造を保持し、解釈可能性を向上させる。
• グローバルに最適な凸緩和と収束保証を持つため、しきい値処理や非凸的手法（SCoTLASS や SPCA）を上回る性能を発揮する。