[論文レビュー] Sparse PCA from Sparse Linear Regression

Guy Bresler, Sung Min Park+1 more|arXiv (Cornell University)|Nov 25, 2018

Blind Source Separation Techniques被引用数 3

ひとこと要約

本論文は、任意のブラックボックススパース線形回帰（SLR）ソルバを、スパース主成分分析（SPCA）アルゴリズムに変換する新規な還元手法を提示する。他の変数を予測子として用いて各変数をSLRで回帰することで、単一のスパイク付き共分散モデルにおいて、仮説検定およびサポート回復の両面で近似的に最適な統計的保証を達成し、明示的な誤差境界を伴う最先端の性能を再現する。

ABSTRACT

Sparse Principal Component Analysis (SPCA) and Sparse Linear Regression (SLR) have a wide range of applications and have attracted a tremendous amount of attention in the last two decades as canonical examples of statistical problems in high dimension. A variety of algorithms have been proposed for both SPCA and SLR, but an explicit connection between the two had not been made. We show how to efficiently transform a black-box solver for SLR into an algorithm for SPCA: assuming the SLR solver satisfies prediction error guarantees achieved by existing efficient algorithms such as those based on the Lasso, the SPCA algorithm derived from it achieves near state of the art guarantees for testing and for support recovery for the single spiked covariance model as obtained by the current best polynomialtime algorithms. Our reduction not only highlights the inherent similarity between the two problems, but also, from a practical standpoint, allows one to obtain a collection of algorithms for SPCA directly from known algorithms for SLR. We provide experimental results on simulated data comparing our proposed framework to other algorithms for SPCA.

研究の動機と目的

• スパース線形回帰（SLR）とスパース主成分分析（SPCA）の間の形式的なアルゴリズム的関係を確立すること。両者には類似した統計的・計算的トレードオフが存在する。
• 任意のSLRソルバを、理論的保証を伴う明示的な有効性を示すSPCAアルゴリズムに変換できる、一般的で効率的なフレームワークを構築すること。
• 単一のスパイク付き共分散モデル下で、仮説検定およびサポート回復の両方において近似的に最適な性能を達成すること。
• データのスケーリング変更、例えば共分散行列の代わりに相関行列を用いる場合にも、フレームワークのロバストネスを示すこと。

提案手法

• 各データの座標を、他のすべての座標に対してブラックボックスSLRソルバを用いて回帰することで、各変数を応答変数とし、残りを予測子として扱う。
• 各座標 $ i $ に対して、SLRフィットからの予測誤差に基づいて統計量 $ Q_i $ を計算する。
• 仮説検定では、$ Q_i $ が $ \frac{k \log d}{n} $ に比例する閾値を超えるかどうかをチェックすることで、等方的共分散モデルとスパイク付き共分散モデルを区別する。
• サポート回復のためには、最小信号サイズの仮定の下で、$ Q_i $ が閾値を超える座標を選択し、スパイクのサポートを特定する。
• 理論的および実験的に示されるように、このフレームワークはデータのスケーリングに対してロバストであり、対角線のしきい値処理が失敗する場合でも有効である。
• 理論的分析では、高次元漸近的条件下で型Iおよび型IIエラー確率を制御するため、集中不等式と和集合の不等式を用いる。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスSLRソルバを、明示的な統計的保証を伴うSPCAアルゴリズムに体系的に変換できるか？
• RQ2 提案された還元が、単一のスパイク付き共分散モデルにおいて、仮説検定およびサポート回復の近似的に最適な信号強度閾値を達成するか？
• RQ3 相関行列を共分散行列の代わりに使用するなど、データのスケーリング変更に対して、このフレームワークはどのように動作するか？
• RQ4 スパイクベクトルの非ゼロ成分が等しくないなどの信号構造の変化に対して、この還元はロバストか？
• RQ5 既存のSPCAアルゴリズム（例えば、共分散のしきい値処理や切断されたパワー法）と比較して、実験的にどのように性能を発揮するか？

主な発見

• 提案されたSPCAアルゴリズムは、仮説検定の閾値として $ \theta \gtrsim \sqrt{\frac{k^2 \log d}{n}} $ を達成し、定数係数の違いを除き、対角線のしきい値処理や最小双対摂動のフェーズ遷移と一致する。
• サポート回復に関しては、スパイクベクトルの各非ゼロ成分が $ \Omega(1/\sqrt{k}) $ 以上であると仮定すれば、$ \theta \gtrsim \sqrt{\frac{k^2 \log d}{n}} $ の条件下で高確率で成功する。
• 実験では、共分散のしきい値処理を上回る性能を示し、特にデータがスケーリングされた場合に顕著である。これは、相関に基づく前処理に対してロバストであるためである。
• ピアソン相関行列を用いるなど、スケーリング変更に対してもロバストである。これにより対角線のしきい値処理は無効になるが、性能は劣化しない。
• 実行時間は $ \tilde{O}(nd^2) $ であり、標本共分散行列の計算コストが支配的であり、理論的にはスペクトル法やSDPベースの手法と同等の性能を示す。
• 実験的結果から、標準的なSLRソルバ（例：しきい値付きラasso）をブラックボックスとして用いることで、強力な性能が得られ、このフレームワークの実用性が裏付けられる。