[論文レビュー] On the Quality of a Semidefinite Programming Bound for Sparse Principal Component Analysis

Laurent El Ghaoui|ArXiv.org|Jan 18, 2006

Sparse and Compressive Sensing Techniques参考文献 4被引用数 9

ひとこと要約

本稿は、基数罰則付きランク1近似問題をボックス制約上の最大固有値最適化問題に再定式化することにより、スパース主成分分析（SPCA）のための半定値計画（SDP）緩和を提案する。ロバスト最適化技術を用いてタイトなSDPバウンドを導出し、理論的品質保証を確立する：共分散行列の対角成分が急速に減少する場合にはバウンドが正確（すなわち緩和ギャップがゼロ）であり、相対ギャップは行列構造と罰則パラメータに依存する関数によって下界で抑えられる。

ABSTRACT

We examine the problem of approximating a positive, semidefinite matrix $Σ$ by a dyad $xx^T$, with a penalty on the cardinality of the vector $x$. This problem arises in sparse principal component analysis, where a decomposition of $Σ$ involving sparse factors is sought. We express this hard, combinatorial problem as a maximum eigenvalue problem, in which we seek to maximize, over a box, the largest eigenvalue of a symmetric matrix that is linear in the variables. This representation allows to use the techniques of robust optimization, to derive a bound based on semidefinite programming. The quality of the bound is investigated using a technique inspired by Nemirovski and Ben-Tal (2002).

研究の動機と目的

• 正定値共分散行列の低ランクかつスパースな近似を求めるスパース主成分分析（SPCA）のためのタイトな半定値計画（SDP）緩和を構築すること。
• 元の非凸問題の最適値とSDP上界との間の相対ギャップに関する境界を導出することにより、SDP緩和の品質を分析すること。
• SDP緩和が正確（すなわちギャップがゼロ）となる条件を特定すること、特に共分散行列の対角成分の減少率に基づく条件を同定すること。
• 罰則パラメータρと共分散行列Σの構造的性質の関数として、真の最適値とSDP上界とのギャップの定量的推定値を提供すること。

提案手法

• スパースPCA問題をボックス制約上での最大固有値問題に再定式化：max_{x ∈ [-1,1]^n} λ_max(Σ - ρ diag(x) + diag(x)Σ)，ここでλ_maxは最大固有値を表す。
• 元の問題とロバスト最適化を結びつけるためのしきい値付きレイリー商表現を導入し、双対性と期待値に基づく境界を用いてSDP上界を導出する。
• 確率的表現（ガウス確率変数と正の部分の期待値を含む）を用い、ロバスト最適化技術を適用して最適値φ(ρ)の上界を導出する。
• SDPバウンドが真の最適値の少なくともθ(ρ)倍であるような品質推定値θ(ρ)を導出する。ここでθ(ρ)は共分散行列のランクと構造に依存する。
• 関数θ_m(γ)を用いてバウンド品質を定量化し、γはρ、Σ_11、およびそのようなインデックスの数に依存する。γが固定のとき、θ_m(γ)はmに関して減少することを証明する。
• ガウス変数における二次形式の期待正の部分の下界を用い、凸性と対称性を活用して、品質推定値の取り扱いやすい表現を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースPCAのSDP緩和が正確（すなわち緩和ギャップが消える）となる条件は何か？
• RQ2 基数罰則付き定式化における罰則パラメータρがSDPバウンドの品質にどのように影響するか？
• RQ3 共分散行列Σのどのような構造的性質が、SDP緩和の相対的品質の非ゼロ下界を保証するか？
• RQ4 真の最適値とSDP上界とのギャップに対して、タイトで解析的に取り扱いやすいバウンドを導出できるか？
• RQ5 共分散行列のランクとその対角成分の減少率は、SDP緩和のタイトさにどのように影響するか？

主な発見

• 共分散行列Σの対角成分が急速に減少する場合、SDP緩和は正確（すなわちバウンドがタイト）である：Σ_{22} ≤ ρ < Σ_{11} ならば、緩和ギャップはゼロであり、φ(ρ) = ψ(ρ) が成り立つ。
• すべてのh ≥ 2に対してΣ_{hh} ≤ (1/(h+1))Σ_{11} が成り立つ場合、すべてのρ < Σ_{22}に対して緩和ギャップは1/π以上に下界で抑えられ、定数の相対的品質保証が得られる。
• SDPバウンドの品質は関数θ(ρ) = θ_{m(ρ)}(γ(ρ))で定量化され、ここでm(ρ)はΣの対角成分がρより大きいインデックスに対応する部分行列のランクであり、γ(ρ)はρ、Σ_{11}、およびそのようなインデックスの数に依存する。
• バウンドθ(ρ)は、活性部分行列のランクm(ρ)とともに減少するが、Σの構造によって制御されており、高ランクの部分行列ではバウンドがゆるくなるが、その減少は制御可能である。
• 対角成分が急速に減少するランダムな共分散行列に対しては、品質推定値θ(ρ)はゼロから離れたまま保たれ、ρの広い範囲でSDPバウンドが情報として有用であることが保証される。
• 本稿では、SDPバウンドが真の最適値の少なくともθ(ρ)倍であることを証明しており、θ(ρ)は行列構造とρから計算可能であり、実用的かつ理論的な緩和品質の尺度を提供する。