[論文レビュー] Computational Hardness of Certifying Bounds on Constrained PCA Problems

Afonso S. Bandeira, Dmitriy Kunisky+1 more|arXiv (Cornell University)|Feb 19, 2019

Random Matrices and Applications参考文献 51被引用数 23

ひとこと要約

この論文は、制約付きPCA問題における上界を証明する計算的困難性を確立し、計算複雑性の仮定のもとで、任意の多項式時間アルゴリズムがGOE行列の最大固有値よりも良い上界を証明できないことを示している。主な結果は、最適化は可能であるが上界の証明が計算的に困難であるシャーリングトン＝キルパトリックスピンガラスモデルに適用される。

ABSTRACT

A conjecture of Hopkins (2018) posits that for certain high-dimensional hypothesis testing problems, no polynomial-time algorithm can outperform so-called "simple statistics", which are low-degree polynomials in the data. This conjecture formalizes the beliefs surrounding a line of recent work that seeks to understand statistical-versus-computational tradeoffs via the low-degree likelihood ratio. In this work, we refute the conjecture of Hopkins. However, our counterexample crucially exploits the specifics of the noise operator used in the conjecture, and we point out a simple way to modify the conjecture to rule out our counterexample. We also give an example illustrating that (even after the above modification), the symmetry assumption in the conjecture is necessary. These results do not undermine the low-degree framework for computational lower bounds, but rather aim to better understand what class of problems it is applicable to.

研究の動機と目的

• 確率的行列問題における制約付き集合上での二次形式の上界を証明する計算複雑性を調査すること。
• 特に制約付きPCAにおいて、信号なしの確率的最適化問題における統計的・計算的ギャップを特定すること。
• シャーリングトン＝キルパトリックモデルにおいて、スペクトルノルムよりもタイトな上界を証明することは計算的に困難であることを示すこと。
• 低次の尤度比法を用いて、負のスパイク付きウィシャールトモデルにおける計算的閾値を確立すること。

提案手法

• 制約付きPCAにおける証明問題を、負のスパイク付きウィシャールトモデルにおける検出問題に還元する。
• 低次の尤度比法を用いて、スペクトル閾値未満では、いかなる低次の多項式に対してもスパイク付きとスパイクなしのウィシャールトモデルを区別できないことを示す。
• 一般化されたエルミート多項式および直交多項式系を用いて、尤度比の低次の射影のノルムを計算する。
• スパイク事前分布の内積分布を用いて、低次の尤度比の二乗ノルムの式を導出する。
• スパイクベクトル間の内積の尾確率を制御するために、局所的チェルノフバウンドを適用する。
• 集中不等式とテイラー級数近似を組み合わせて、n → ∞ の漸近的挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 多項式時間アルゴリズムは、制約付き集合S上での最大二次形式x⊤Wxの上界を、Wの最大固有値よりも良く証明できるか？
• RQ2 シャーリングトン＝キルパトリックスピンガラスモデルにおいて、最適化は可能であるが、上界の証明は計算的に困難であるか？
• RQ3 低次の尤度比法は、負のスパイク付きウィシャールトモデルにおける計算的閾値を正しく特定するか？
• RQ4 古典的スペクトル閾値未満で、スパイク付きとスパイクなしのウィシャールトモデルを区別する計算複雑性は何か？
• RQ5 対称行列の分布がGOEから計算的に区別不能であるが、S上での最大二次形式が通常のGOE行列よりも著しく大きいことは可能か？

主な発見

• 低次の尤度比法の下では、特定の正規化された制約集合Sに対して、任意の多項式時間アルゴリズムはWの最大固有値よりも良い上界を証明できない。
• この困難性の結果は、S = {±1/√n}^n であるシャーリングトン＝キルパトリックモデルに適用され、最適化は可能だが、証明は不可能である。
• 負のスパイク付きウィシャールトモデルにおける尤度比の低次の射影のノルムは、β² < γ のとき有界のままである。これは、スパイクなしモデルと計算的に区別不能であることを示唆する。
• D = o(n/log n) のとき、スパイクベクトルの内積における大偏差は指数的に減少するが、低次の尤度比は多項式的に増加し、有界性が保たれる。
• 証明は、GOEから計算的に区別不能に見えるが、S上での最大二次形式が通常のGOE行列よりも著しく大きな行列の分布を構成する。
• この結果は、制約付きPCAの証明タスクにおいて統計的・計算的ギャップが存在することを示唆するが、最適化タスクにはこのようなギャップがない。