[论文解读] Average-Case Lower Bounds for Learning Sparse Mixtures, Robust Estimation and Semirandom Adversaries

Matthew Brennan, Guy Bresler|arXiv (Cornell University)|Aug 8, 2019

Machine Learning and Algorithms参考文献 90被引用 8

一句话总结

本文通过一种新颖的归约框架，建立了三个高维统计问题——鲁棒稀疏均值估计、半随机社区恢复和稀疏混合模型学习——的平均情况计算下界，核心是引入一个中间问题：不平衡稀疏高斯混合模型。在温和的 planted clique 猜想下，证明了紧致的 $ \tilde{\theta}(k^2) $ 样本复杂度下界，揭示了在多种统计任务中普遍存在的 $ k $ 到 $ k^2 $ 的计算差距。

ABSTRACT

This paper develops several average-case reduction techniques to show new hardness results for three central high-dimensional statistics problems, implying a statistical-computational gap induced by robustness, a detection-recovery gap and a universality principle for these gaps. A main feature of our approach is to map to these problems via a common intermediate problem that we introduce, which we call Imbalanced Sparse Gaussian Mixtures. We assume the planted clique conjecture for a version of the planted clique problem where the position of the planted clique is mildly constrained, and from this obtain the following computational lower bounds: (1) a $k$-to-$k^2$ statistical-computational gap for robust sparse mean estimation, providing the first average-case evidence for a conjecture of Li (2017) and Balakrishnan et al. (2017); (2) a tight lower bound for semirandom planted dense subgraph, which shows that a semirandom adversary shifts the detection threshold in planted dense subgraph to the conjectured recovery threshold; and (3) a universality principle for $k$-to-$k^2$ gaps in a broad class of sparse mixture problems that includes many natural formulations such as the spiked covariance model. Our main approach is to introduce several average-case techniques to produce structured and Gaussianized versions of an input graph problem, and then to rotate these high-dimensional Gaussians by matrices carefully constructed from hyperplanes in $\mathbb{F}_r^t$. For our universality result, we introduce a new method to perform an algorithmic change of measure tailored to sparse mixtures. We also provide evidence that the mild promise in our variant of planted clique does not change the complexity of the problem.

研究动机与目标

• 在对抗性污染下建立鲁棒稀疏均值估计的计算下界，证明多项式时间算法需要 $ n = \tilde{\Omega}(k^2) $ 个样本。
• 解决长期存在的猜想：在半随机社区恢复中，检测与恢复阈值是否一致，证明当图被半随机对手扰动时，二者确实一致。
• 识别稀疏混合模型学习中 $ k $ 到 $ k^2 $ 差距的普遍机制，且该机制与分布的具体形式无关。
• 开发新的平均情况归约技术，通过有限域上的高斯化与旋转，将结构化的图问题映射到高维估计任务。

提出的方法

• 引入不平衡稀疏高斯混合问题作为归约的核心中间问题。
• 利用对角种植与克隆技术，构建输入图问题的结构化、高斯化版本。
• 应用来自 $ \mathbb{F}_r^t $ 中超平面的旋转矩阵，对高维高斯分布进行变换，同时保持其统计特性。
• 开发一种针对稀疏混合模型的新算法测度变换，实现普遍性结果。
• 采用统计查询（SQ）和低阶似然比框架，在受限计算模型下推导下界。
• 使用一种带有对团位置轻微约束的 planted clique 猜想变体，推导平均情况困难性。

实验结果

研究问题

• RQ1 在 $ \epsilon $-污染下，鲁棒稀疏均值估计所需的 $ \tilde{\Omega}(k^2) $ 样本复杂度是否为计算必要性，还是仅因算法局限？
• RQ2 当图被半随机对手扰动时，半随机社区恢复中检测与恢复阈值是否一致？
• RQ3 何种基本结构属性导致 $ k $ 到 $ k^2 $ 差距在不同高维估计问题中普遍存在？
• RQ4 能否构建保持源问题统计结构的同时映射到复杂估计任务的平均情况归约？
• RQ5 对 planted clique 问题中团的位置施加约束是否会改变其计算复杂度？

主要发现

• 在温和的 planted clique 猜想下，鲁棒稀疏均值估计对多项式时间算法要求 $ n = \tilde{\Omega}(k^2) $ 个样本，与目前已知的最佳上界一致，证实了 Li (17) 和 BDLS (17) 的猜想。
• 在常数边密度 $ q $ 的半随机社区恢复中，检测与恢复阈值一致，为长期存在的恢复猜想提供了首个平均情况证据。
• 确立了普遍性原理：在似然比的温和条件下，$ n = \tilde{\Theta}(k^2) $ 是学习 $ k $-稀疏混合模型的计算障碍，且与具体分布形式无关。
• 该归约框架生成了结构化、高斯化的实例，保持了总变差距离，从而实现了紧致的平均情况困难性结果。
• 利用有限域上的超平面构造旋转矩阵，实现了对归约流程中高维高斯分布几何结构的精确控制。
• 对 planted clique 位置的轻微约束不会影响问题的复杂度，该结论通过统计查询下界和低阶似然比分析得以验证。