[論文レビュー] Sum-of-squares lower bounds for Sparse PCA

Tengyu Ma, Avi Wigderson|arXiv (Cornell University)|Dec 7, 2015

Sparse and Compressive Sensing Techniques参考文献 44被引用数 30

ひとこと要約

この論文は、スパースPCAにおける統計的・計算的ギャップを埋められないこと、つまり4次までの和の平方（SoS）緩和が、埋め込まれたkスパース単位ベクトルを検出するにはn ≈ k²個のサンプルを必要とすることを示している。これは、低次の方法と同一のサンプル複雑度である。この結果は、高次元スパース推定におけるSoS手法の本質的限界を強調している。

ABSTRACT

This paper establishes a statistical versus computational trade-off for solving a basic high-dimensional machine learning problem via a basic convex relaxation method. Specifically, we consider the Sparse Principal Component Analysis (Sparse PCA) problem, and the family of Sum-of-Squares (SoS, aka Lasserre/Parillo) convex relaxations. It was well known that in large dimension p, a planted k-sparse unit vector can be in principle detected using only n ≈ k log p (Gaussian or Bernoulli) samples, but all efficient (polynomial time) algorithms known require n ≈ k2 samples. It was also known that this quadratic gap cannot be improved by the the most basic semi-definite (SDP, aka spectral) relaxation, equivalent to a degree-2 SoS algorithms. Here we prove that also degree-4 SoS algorithms cannot improve this quadratic gap. This average-case lower bound adds to the small collection of hardness results in machine learning for this powerful family of convex relaxation algorithms. Moreover, our design of moments (or pseudo-expectations) for this lower bound is quite different than previous lower bounds. Establishing lower bounds for higher degree SoS algorithms for remains a challenging problem.

研究の動機と目的

• 高次元スパースPCAにおける統計的・計算的ギャップを埋められるかどうかを調査すること。
• 低次の方法が要請するn ≈ k²のサンプル複雑度を上回る、4次SoSアルゴリズムの性能を評価すること。
• スパース高次元推定の文脈において、SoSアルゴリズムに対する平均的下界を確立すること。
• 従来の手法とは異なる、本研究独自のモーメント（疑似期待値）の構築法を考案し、この下界を達成すること。
• 凸緩和法（特にSoS）が、特定の高次元問題において計算効率に本質的限界を有することを示す、蓄積される証拠の一部を提供すること。

提案手法

• 著者らは、スパースPCA問題に対する4次SoS緩和の性能を分析している。
• 特定の分布に基づく埋め込みスパースベクトルを構築し、4次までの一貫性を満たす疑似期待値作用素を定義している。
• 真の分布の振る舞いを模倣するが、低次のモーメントと整合性を保つように設計されたモーメント（疑似期待値）の構築を行っている。
• 証明は、n ≈ k log p 個のサンプルがある場合、4次SoS解が埋め込みスパースベクトルとノイズを区別できないことを示すことに依拠している。
• 従来の下界とは異なり、スパースPCA問題の構造に特化した非標準的なモーメント設計を用いている。
• 仮定された部分二乗サンプルでの成功検出が不可能であると仮定した場合に矛盾を導くために、擬似補正とモーメント行列解析のツールを組み合わせている。

実験結果

リサーチクエスチョン

• RQ1 n ≈ k log p 個のサンプルで、4次SoS緩和が高次元におけるkスパース単位ベクトルを検出可能か？
• RQ2 SoS手法がスパースPCAにおける情報理論的サンプル複雑度に到達できない根本的な計算的障壁は存在するか？
• RQ3 従来の問題とは対照的に、スパースPCAに適用する際のSoS下界のための疑似期待値設計は、どのように異なるか？
• RQ4 高次SoS緩和は、スペクトル法や2次SoS法で観察されたk²のサンプル複雑度ギャップを克服できるか？
• RQ5 高次元スパース推定問題を解く際の、凸緩和手法（特にSoS）の限界は何か？

主な発見

• 4次SoS緩和は、サンプルサイズがn ≈ k log p である場合、高次元における埋め込みkスパース単位ベクトルを検出できない。
• 本論文は、4次SoS手法ですらn ≈ k² 個のサンプルを必要とすることを証明しており、これは低次のスペクトル法やSDP緩和と同一のサンプル複雑度である。
• これは、高次元スパース推定において、統計的と計算的のトレードオフが、高次SoS緩和に対しても継続的に存在することを示している。
• 本研究は、従来の手法とは著しく異なる疑似期待値の新規構築により、この下界を達成している。
• この結果は、高次元スパース推定における凸緩和手法の本質的限界を理解する上で貢献している。
• k²のサンプル複雑度ギャップを克服するには、非凸的または非SOSベースの手法を用いる必要がある可能性を示唆している。