[論文レビュー] Do Semidefinite Relaxations Really Solve Sparse PCA

Robert Krauthgamer, Boaz Nadler+1 more|arXiv (Cornell University)|Jun 16, 2013

Sparse and Compressive Sensing Techniques被引用数 14

ひとこと要約

この論文は、単一スパイクモデル下での高次元データにおいて、半定値計画法（SDP）の緩和がスパース主成分を回復できるかを調査する。標準的なSDP手法はスパースネスレベルが $ k = \Omega(\sqrt{n}) $ を超えると失敗することが示され、この閾値に計算上の障壁が存在することを示唆し、この限界を超えてスパース成分を回復できる効率的アルゴリズムは存在しないという仮説を支持する。

ABSTRACT

Estimating the leading principal components of data, assuming they are sparse, is a central task in modern high-dimensional statistics. Many algorithms were developed for this sparse PCA problem, from simple diagonal thresholding to sophisticated semidefinite programming (SDP) methods. A key theoretical question is under what conditions can such algorithms recover the sparse principal components? We study this question for a single-spike model with an $\ell_0$-sparse eigenvector, in the asymptotic regime as dimension $p$ and sample size $n$ both tend to infinity. Amini and Wainwright [Ann. Statist. 37 (2009) 2877-2921] proved that for sparsity levels $k\geq\Omega(n/\log p)$, no algorithm, efficient or not, can reliably recover the sparse eigenvector. In contrast, for $k\leq O(\sqrt{n/\log p})$, diagonal thresholding is consistent. It was further conjectured that an SDP approach may close this gap between computational and information limits. We prove that when $k\geq\Omega(\sqrt{n})$, the proposed SDP approach, at least in its standard usage, cannot recover the sparse spike. In fact, we conjecture that in the single-spike model, no computationally-efficient algorithm can recover a spike of $\ell_0$-sparsity $k\geq\Omega(\sqrt{n})$. Finally, we present empirical results suggesting that up to sparsity levels $k=O(\sqrt{n})$, recovery is possible by a simple covariance thresholding algorithm.

研究の動機と目的

• 高次元データにおけるスパース主成分を、半定値計画法（SDP）の緩和が成功する条件を特定すること。
• スパースPCA推定における情報理論的限界と計算可能性のギャップを調査すること。
• 既知の情報限界（$k = O(\sqrt{n/\log p})$）と計算限界（$k = \Omega(n/\log p)$）のギャップをSDP手法が埋められるかを評価すること。
• 対角しきい値処理と共分散しきい値処理が、SDPの代替としてスパースPCA回復にどの程度有効かを評価すること。
• スパースネス $k \geq \Omega(\sqrt{n})$ の場合、計算的に効率的なアルゴリズムではスパース成分を回復できない可能性があるという仮説を立てる。

提案手法

• 次元 $p$ と標本サイズ $n$ が無限大に近づく漸近的状況において、$\ell_0$-スパース固有ベクトルを伴う単一スパイクモデルを分析する。
• 理論的解析を用いて、さまざまなスパースネスレベル $k$ の下で、標準的なSDP緩和がスパーススパイクをどの程度回復できるかを評価する。
• アミニとワイントロット（2009）が確立した情報理論的限界と、SDPおよび対角しきい値処理の計算限界を比較する。
• 漸近的解析を用いて、SDPが $k \geq \Omega(\sqrt{n})$ の場合に失敗することを示し、強力な緩和手法であるにもかかわらずその限界があることを明らかにする。
• 実験的検証を用いて、共分散しきい値処理が $k = O(\sqrt{n})$ までに有効であることをテストする。
• 測度の集中とランダム行列理論の技術を用いて、回復性能の境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 スパースネスレベル $k$ が $\Omega(\sqrt{n})$ を超える場合、標準的な半定値計画法緩和はスパース主成分を回復できるか？
• RQ2 単一スパイクモデルにおける $\ell_0$-スパース主成分を回復するにあたり、効率的アルゴリズムの計算限界は何か？
• RQ3 SDPアプローチは、情報理論的限界（$k = O(\sqrt{n/\log p})$）と計算障壁（$k = \Omega(n/\log p)$）のギャップを埋められるか？
• RQ4 対角または共分散しきい値処理といったより単純なアルゴリズムが、中程度のスパースネスレベルにおいてSDPを上回る性能を示せるか？
• RQ5 スパースネス $k \geq \Omega(\sqrt{n})$ の場合、効率的アルゴリズムではスパース成分を回復できない可能性があるのか？

主な発見

• 標準的な半定値計画法緩和は、$k \geq \Omega(\sqrt{n})$ の場合、スパーススパイクを回復できない。これは強力な緩和手法であるにもかかわらず、その限界を示している。
• この失敗は、SDPがスパースPCAにおける情報理論的限界と計算限界のギャップを埋めないことを示唆する。
• 本論文は、$k \geq \Omega(\sqrt{n})$ の場合、計算的に効率的なアルゴリズムではスパース成分を回復できないという仮説を立てる。これは根本的な計算障壁を示唆する。
• 実験的結果から、共分散しきい値処理は $k = O(\sqrt{n})$ までにスパース成分を成功裏に回復できることを示し、実用的妥当性を示している。
• $k \leq O(\sqrt{n/\log p})$ の場合、対角しきい値処理は一貫性を示すため、低スパースネス領域での有効性が確認されている。
• 結果から、$\sqrt{n}$ の閾値が、単一スパイクモデル下で効率的回復が計算的に不可能になる臨界的な境界を示していることが示唆される。