[论文解读] The All-or-Nothing Phenomenon in Sparse Tensor PCA

Jonathan Niles‐Weed, Ilias Zadik|arXiv (Cornell University)|Jul 22, 2020

Sparse and Compressive Sensing Techniques参考文献 9被引用 6

一句话总结

本文通过证明在信号支持上采用离散均匀先验时，稀疏张量PCA在所有次线性稀疏度水平下均表现出全有或全无现象，从而建立了该现象。模型在信号与噪声比（SNR）低于临界值时无法与隐藏信号产生任何相关性，而高于该值时则可实现近乎完美的相关性。该结果基于一个通用准则，涉及先验支持的近正交性与高斯加性模型中的Kullback-Leibler散度。

ABSTRACT

We study the statistical problem of estimating a rank-one sparse tensor corrupted by additive Gaussian noise, a model also known as sparse tensor PCA. We show that for Bernoulli and Bernoulli-Rademacher distributed signals and \emph{for all} sparsity levels which are sublinear in the dimension of the signal, the sparse tensor PCA model exhibits a phase transition called the \emph{all-or-nothing phenomenon}. This is the property that for some signal-to-noise ratio (SNR) $\mathrm{SNR_c}$ and any fixed $ε>0$, if the SNR of the model is below $\left(1-ε ight)\mathrm{SNR_c}$, then it is impossible to achieve any arbitrarily small constant correlation with the hidden signal, while if the SNR is above $\left(1+ε ight)\mathrm{SNR_c}$, then it is possible to achieve almost perfect correlation with the hidden signal. The all-or-nothing phenomenon was initially established in the context of sparse linear regression, and over the last year also in the context of sparse 2-tensor (matrix) PCA, Bernoulli group testing, and generalized linear models. Our results follow from a more general result showing that for any Gaussian additive model with a discrete uniform prior, the all-or-nothing phenomenon follows as a direct outcome of an appropriately defined "near-orthogonality" property of the support of the prior distribution.

研究动机与目标

• 理解全有或全无现象在高维稀疏估计中发生的根本条件。
• 建立该现象在所有次线性稀疏度水平的稀疏张量PCA中均成立，而不仅限于特定区域。
• 为具有离散均匀先验的高斯加性模型中的全有或全无现象提供一个通用准则。
• 确认关于稀疏张量PCA中全有或全无相变存在的长期猜想，适用于伯努利分布和伯努利-雷梅谢尔信号。

提出的方法

• 将稀疏张量PCA模型形式化为一个带有秩一张量信号且受i.i.d.高斯噪声污染的高斯加性模型。
• 将先验定义为在单位球面上 $k$-稀疏信号支持上的离散均匀分布。
• 建立全有或全无现象等价于模型与零均值高斯分布之间Kullback-Leibler散度的一个条件。
• 引入先验支持的“近正交性”条件，确保不同支持对之间几乎不相关。
• 利用大偏差理论与矩生成函数分析，对散度进行上界估计，并推导出相变阈值。
• 将通用结果应用于具有伯努利和伯努利-雷梅谢尔先验的稀疏张量PCA，证明在所有 $k=o(p)$ 情况下均存在全有或全无行为。

实验结果

研究问题

• RQ1 全有或全无现象是否在所有次线性稀疏度水平 $k=o(p)$ 的稀疏张量PCA中出现？
• RQ2 全有或全无现象能否通过高斯加性模型中先验支持结构的一般条件来刻画？
• RQ3 稀疏张量PCA中的全有或全无相变对不同信号分布（如伯努利和雷梅谢尔分布）是否具有鲁棒性？
• RQ4 Kullback-Leibler散度在确定全有或全无阈值存在性方面起什么作用？
• RQ5 贝叶斯最优估计器能否在稀疏张量PCA中实现全有或全无行为？该现象是否可推广至计算上高效的估计器？

主要发现

• 对于所有稀疏度水平 $k=o(p)$，包括次线性和对数多边形（polylogarithmic）情形，伯努利和伯努利-雷梅谢尔先验的稀疏张量PCA中均存在全有或全无现象。
• 该现象等价于在给定SNR下，模型与零高斯分布之间Kullback-Leibler散度的一个条件。
• 全有或全无相变发生当且仅当先验支持满足“近正交性”条件，即典型的支持对之间具有可忽略的相关性。
• 对于任意固定的 $\epsilon>0$，若SNR低于 $(1-\epsilon)\mathrm{SNR_c}$，则无法与隐藏信号建立非平凡相关性；若高于 $(1+\epsilon)\mathrm{SNR_c}$，则可实现近乎完美的相关性。
• 该通用框架适用于任意具有离散均匀先验的高斯加性模型，且结果证实了先前研究中隐含的猜想。
• 贝叶斯最优估计器可实现全有或全无行为，但本文未解决计算上高效的估计器（如AMP）是否也表现出该现象。