[論文レビュー] Sparse PCA via Bipartite Matchings

Megasthenis Asteris, Dimitris Papailiopoulos+2 more|arXiv (Cornell University)|Aug 4, 2015

Sparse and Compressive Sensing Techniques参考文献 22被引用数 14

ひとこと要約

本稿では、互いに重複のないサポートを持つ多成分スパースPCAのための新しい組合せ的アルゴリズムを提案する。二部グラフの最大重みマッチングを用いて、複数の成分を同時に最適化することで、最適に近い分散の捉え込みを達成する。低ランクスケッチングを用いることで多項式時間の性能を達成し、実データセット上でのグリーディーなデフラクション手法を上回る性能を示す。

ABSTRACT

We consider the following multi-component sparse PCA problem: given a set of data points, we seek to extract a small number of sparse components with disjoint supports that jointly capture the maximum possible variance. These components can be computed one by one, repeatedly solving the single-component problem and deflating the input data matrix, but as we show this greedy procedure is suboptimal. We present a novel algorithm for sparse PCA that jointly optimizes multiple disjoint components. The extracted features capture variance that lies within a multiplicative factor arbitrarily close to 1 from the optimal. Our algorithm is combinatorial and computes the desired components by solving multiple instances of the bipartite maximum weight matching problem. Its complexity grows as a low order polynomial in the ambient dimension of the input data matrix, but exponentially in its rank. However, it can be effectively applied on a low-dimensional sketch of the data; this allows us to obtain polynomial-time approximation guarantees via spectral bounds. We evaluate our algorithm on real data-sets and empirically demonstrate that in many cases it outperforms existing, deflation-based approaches.

研究の動機と目的

• 互いに重複のないサポートを持つ多成分スパースPCAにおけるグリーディーでデフラクションに基づく手法の非最適性を解消すること。
• 逐次的に最適化するのではなく、互いに重複のないサポートを持つ複数のスパース成分を同時に最適化し、説明される分散を最大化すること。
• 共同スパースPCA問題に対する理論的近似保証を提供し、最適解に非常に近い結果を得ること。
• 低次元スケッチを用いることで計算複雑性を低減しつつ、強力な理論的性能バインディングを維持すること。
• 実世界のデータセット上で、デフラクションに基づく最先端手法よりも優れた性能を実証的に検証すること。

提案手法

• アルゴリズムは、データから導出されたグラフ上で、複数の二部グラフ最大重みマッチング問題としてスパースPCAを定式化する。
• 変換されたデータ表現上で一連の組合せ的マッチング問題を解くことで、互いに重複のないサポートを持つk個のスパース成分を同時に計算する。
• 入力共分散行列のスペクトルスケッチを活用し、計算コストを低減する。この手法は、データの低ランク近似上で動作する。
• スペクトルバインディングを用いて理論的保証を導出し、任意のε > 0と固定されたkに対して、説明される分散がOPT − ε·s以内に収まる加法的PTASを達成する。
• アルゴリズムは、環境次元dに関して多項式的であるが、共分散行列Aのランクに関しては指数的である。この問題はスケッチによって緩和される。
• 反復的なデフラクションを回避することで、同時に成分を最適化することにより、分散の捉え込みを保持する。

実験結果

リサーチクエスチョン

• RQ1 複数の重複のないスパース成分を同時に最適化するアプローチは、グリーディーでデフラクションに基づく手法を上回ることができるか？
• RQ2 二部マッチングに基づく組合せ的アルゴリズムは、多成分スパースPCAに対してどの程度の理論的近似品質を達成できるか？
• RQ3 低ランクスケッチは、提案手法の近似保証と計算複雑性にどのように影響を与えるか？
• RQ4 実データセット上での状況において、本手法は最先端のデフラクションベースのSPCA手法と比較して、分散の捉え込みをどの程度向上できるか？
• RQ5 スペクトルの減衰仮定の下で、本アルゴリズムはスパースPCAに対して加法的PTASを達成できるか？

主な発見

• 提案されたSPCABiPartアルゴリズムは、最適解からの加法的誤差ε·sの範囲内で分散を説明でき、スパースPCAに対して加法的PTASを確立した。
• k=8、s=20のNYTimes BagOfWordsデータセットにおいて、SPCABiPartは全分散の54.89%を捉え、SpanSPCA（52.81%）とTPower（50.77%）を上回った。
• 本手法は、重複のないサポートを持つ場合に、デフラクションに基づく手法に対して一貫した実験的優位性を示した。特に、高い総分散の捉え込みが顕著であった。
• 理論的分析により、アルゴリズムの近似比を1に限りなく近づけることができ、誤差はスケッチ段階におけるスペクトルの減衰に依存することが示された。
• 本手法の複雑性は、環境次元dに関して多項式的だが、共分散行列のランクに関しては指数的である。この問題は低ランクスケッチによって緩和された。
• 第7節の簡単な例により、グリーディーなデフラクションが非最適であることが示され、共同最適化の必要性が裏付けられた。