[论文解读] Curse of Heterogeneity: Computational Barriers in Sparse Mixture Models and Phase Retrieval

Jianqing Fan, Han Liu+2 more|arXiv (Cornell University)|Aug 21, 2018

Machine Learning and Algorithms参考文献 84被引用 9

一句话总结

该论文通过基于预言机的计算模型，为稀疏混合模型和相位检索建立了计算上可行的极小极大下界，揭示了统计精度与计算可处理性之间的根本权衡。研究表明，数据异质性引发了一种‘异质性诅咒’，即计算上高效的算法面临固有的统计限制，这种限制通过经典极小极大风险与计算受限极小极大风险之间的差距得以量化。

ABSTRACT

We study the fundamental tradeoffs between statistical accuracy and computational tractability in the analysis of high dimensional heterogeneous data. As examples, we study sparse Gaussian mixture model, mixture of sparse linear regressions, and sparse phase retrieval model. For these models, we exploit an oracle-based computational model to establish conjecture-free computationally feasible minimax lower bounds, which quantify the minimum signal strength required for the existence of any algorithm that is both computationally tractable and statistically accurate. Our analysis shows that there exist significant gaps between computationally feasible minimax risks and classical ones. These gaps quantify the statistical price we must pay to achieve computational tractability in the presence of data heterogeneity. Our results cover the problems of detection, estimation, support recovery, and clustering, and moreover, resolve several conjectures of Azizyan et al. (2013, 2015); Verzelen and Arias-Castro (2017); Cai et al. (2016). Interestingly, our results reveal a new but counter-intuitive phenomenon in heterogeneous data analysis that more data might lead to less computation complexity.

研究动机与目标

• 理解在高维异质数据分析中统计精度与计算可处理性之间的根本权衡。
• 解决关于稀疏混合模型与相位检索在计算约束下的统计极限的开放猜想。
• 量化任何计算上高效的算法在这些模型中实现统计精度所需的最小信号强度。
• 探究信息论界限与计算上高效界限之间的观测差距是否为内在特性，或源于次优算法。
• 探讨一种反直觉现象：在异质设置中，更多数据可能降低计算复杂度。

提出的方法

• 使用基于预言机的计算模型，为检测、估计、支持恢复和聚类问题推导出无需猜想的极小极大下界。
• 在高维设置（d ≫ n）下分析稀疏高斯混合模型与稀疏线性回归混合模型，并施加稀疏性约束。
• 通过推导计算上可行程序所需的信号强度的精确下界，建立计算-统计相变。
• 应用二阶矩方法与似然比分析，推导原假设与备择假设之间总变差距离的界。
• 使用Rademacher随机变量与矩阵行列式恒等式，计算不同模型下似然比的期望。
• 证明经典极小极大风险与计算上可行极小极大风险之间的差距，量化了计算可处理性的统计代价。

实验结果

研究问题

• RQ1 在异质混合模型中，任何计算上可行的算法检测稀疏信号所需的最小信号强度是多少？
• RQ2 在稀疏混合模型与相位检索中，观测到的信息论界限与计算上高效界限之间的差距是内在的，还是源于次优算法？
• RQ3 数据异质性是否从根本上限制了计算上高效估计器的性能？如果是，这种限制如何量化？
• RQ4 是否存在一种可形式化并推广到异质模型的反直觉现象：更多数据可降低计算复杂度？
• RQ5 计算约束如何影响稀疏相位检索与线性回归混合模型中的极小极大风险？

主要发现

• 在稀疏混合模型与相位检索中，经典极小极大风险与计算上可行极小极大风险之间存在显著差距，量化了计算可处理性的统计代价。
• 对于具有单位协方差的稀疏高斯混合模型，计算-统计相变由信号强度 ∥Δμ∥₂² ≳ s log(d/n) 决定，忽略对数项。
• 在稀疏线性回归混合模型中，检测的信号强度阈值为 ∥β∥₂² ≳ s log(d/n)，与相位检索情形一致。
• 该论文解决了Azizyan等人（2013, 2015）、Verzelen与Arias-Castro（2017）以及Cai等人（2016）关于此类差距存在的猜想。
• 揭示了一种反直觉现象：在异质模型中，增加数据可降低计算复杂度，因为更多数据改善了信号分离。
• 将二阶矩方法应用于似然比，证实当信号低于所推导阈值时，任何计算上高效的算法都无法实现经典极小极大风险。