[論文レビュー] Statistical Query Lower Bounds for Tensor PCA

Rishabh Dudeja, Daniel Hsu|arXiv (Cornell University)|Aug 10, 2020

Tensor decomposition and applications参考文献 37被引用数 8

ひとこと要約

本稿は、テンソルPCAにおける鋭い統計的クエリ（SQ）下界を確立し、$k>2$ の場合、多項式時間のクエリ複雑性を持つSQアルゴリズムが、予想される難易度の高い領域（$n \ll d^{k/2}$）で情報理論的に最適な標本複雑性に到達できないことを示している。SQアルゴリズムの最適なクエリ複雑性は、信号テンソルが対称的であるかどうかに依存し、非ゼロ信号の検出は多項式クエリで可能だが、推定は不可能な領域を同定している。

ABSTRACT

In the Tensor PCA problem introduced by Richard and Montanari (2014), one is given a dataset consisting of $n$ samples $\mathbf{T}_{1:n}$ of i.i.d. Gaussian tensors of order $k$ with the promise that $\mathbb{E}\mathbf{T}_1$ is a rank-1 tensor and $\|\mathbb{E} \mathbf{T}_1\| = 1$. The goal is to estimate $\mathbb{E} \mathbf{T}_1$. This problem exhibits a large conjectured hard phase when $k>2$: When $d \lesssim n \ll d^{\frac{k}{2}}$ it is information theoretically possible to estimate $\mathbb{E} \mathbf{T}_1$, but no polynomial time estimator is known. We provide a sharp analysis of the optimal sample complexity in the Statistical Query (SQ) model and show that SQ algorithms with polynomial query complexity not only fail to solve Tensor PCA in the conjectured hard phase, but also have a strictly sub-optimal sample complexity compared to some polynomial time estimators such as the Richard-Montanari spectral estimator. Our analysis reveals that the optimal sample complexity in the SQ model depends on whether $\mathbb{E} \mathbf{T}_1$ is symmetric or not. For symmetric, even order tensors, we also isolate a sample size regime in which it is possible to test if $\mathbb{E} \mathbf{T}_1 = \mathbf{0}$ or $\mathbb{E}\mathbf{T}_1 eq \mathbf{0}$ with polynomially many queries but not estimate $\mathbb{E}\mathbf{T}_1$. Our proofs rely on the Fourier analytic approach of Feldman, Perkins and Vempala (2018) to prove sharp SQ lower bounds.

研究の動機と目的

• $n \ll d^{k/2}$ であると予想される難易度の高い領域において、テンソルPCAのタイトな統計的クエリ（SQ）下界を確立すること。
• 情報理論的に最適な標本複雑性を達成できるかどうかを、SQアルゴリズムがランク1の信号テンソルを推定する場合に検討すること。
• SQ複雑性がテンソルの対称性と次数 $k$ にどのように依存するかを分析すること、特に偶数次元の対称テンソルについて重点的に検討すること。
• 検出（$\mathbb{E}\bm{T}_1 \neq \bm{0}$）は多項式クエリで可能だが、推定は不可能な領域を特定すること。
• SQアルゴリズムが、リチャード＝モンタナリのスペクトル法のような既知の多項式時間推定器よりも厳密に劣っていることを示すこと。

提案手法

• Feldmanら [18] のフーリエ解析的枠組みを適応し、テンソルPCAにおける鋭いSQ下界を導出する。
• ブール関数の高次フーリエ係数の影響を制御するために、$\mathsf{SMOOTH}_{\lambda}[\cdot]$ 演算子を用いる。
• $(2,q)$-超収縮定理を適用し、滑らか化関数の $L_q$ ノルムをその $L_2$ ノルムで上界付ける。
• 正規分布空間 $\mathcal{L}_2(\mathcal{N}(\bm{0},\bm{I}_d))$ における関数の表現と分解に、正規直交多変量エルミート多項式を用いる。
• 恒等式 $\mathbb{E}[H_{\bm{c}}(\bm{\mu} + \bm{Z})] = \bm{\mu}^{\bm{c}} / \sqrt{\bm{c}!}$ を用い、エルミート係数と信号テンソルのモーメントを関連付ける。
• アルゴリズムが統計的クエリを通じて期待値のノイズのある推定値のみにアクセスできる統計的クエリモデルを構築し、情報制限を模擬する。

実験結果

リサーチクエスチョン

• RQ1 $k > 2$ の場合、SQアルゴリズムは、$n \ll d^{k/2}$ の領域で、情報理論的に最適な標本複雑性を達成できるか？
• RQ2 信号テンソルの対称性は、SQモデルにおける最適な標本複雑性にどのように影響するか？
• RQ3 検出（$\mathbb{E}\bm{T}_1 \neq \bm{0}$）は多項式クエリで可能だが、信号テンソルの推定は不可能な領域が存在するか？
• RQ4 偶数次元の対称テンソルPCAにおける、SQモデルの正確な標本複雑性の閾値は何か？
• RQ5 SQ下界は、リチャード＝モンタナリのスペクトル法のような既知の多項式時間推定器の性能と比べてどうなるか？

主な発見

• 一般の $k>2$ に対して、多項式クエリ複雑性を持つSQアルゴリズムは、$d \lesssim n \ll d^{k/2}$ と予想される難易度の高い領域でテンソルPCAを解くことはできない。
• SQモデルにおける最適な標本複雑性は、信号テンソルが対称的かどうかに依存する：対称テンソルは非対称な場合よりも厳密に低い閾値を有する。
• 対称的で偶数次元のテンソルに対しては、$\mathbb{E}\bm{T}_1 = \bm{0}$ と $\mathbb{E}\bm{T}_1 \neq \bm{0}$ の検出は多項式クエリで可能だが、$\mathbb{E}\bm{T}_1$ の推定は不可能な領域が存在する。
• SQモデルの最適な標本複雑性は、リチャード＝モンタナリのスペクトル推定器（$n \gtrsim d^{k/2}$ を達成）に比べて厳密に劣っている。
• 本稿は、テンソルPCAの計算的閾値と一致する鋭いSQ下界を確立し、問題の難易度に関する証拠を提供している。
• エルミート多項式展開と超収縮性の応用により、SQフレームワーク内でのノイズと信号成分の精密な制御が可能となり、タイトな境界が得られた。