[论文解读] Living on the edge: Phase transitions in convex programs with random data

Dennis Amelunxen, Martin Lötz+2 more|arXiv (Cornell University)|Mar 26, 2013

Sparse and Compressive Sensing Techniques参考文献 59被引用 30

一句话总结

本文通过引入统计维数——凸锥的线性维数的推广——建立了一套随机凸优化问题中相变现象的几何理论。该理论证明，在压缩感知等优化问题中，成功概率在由该维数决定的阈值附近发生急剧转变，利用锥几何与高维概率工具，精确预测了相变区域的位置与宽度。

ABSTRACT

Recent research indicates that many convex optimization problems with random constraints exhibit a phase transition as the number of constraints increases. For example, this phenomenon emerges in the $\ell_1$ minimization method for identifying a sparse vector from random linear measurements. Indeed, the $\ell_1$ approach succeeds with high probability when the number of measurements exceeds a threshold that depends on the sparsity level; otherwise, it fails with high probability. This paper provides the first rigorous analysis that explains why phase transitions are ubiquitous in random convex optimization problems. It also describes tools for making reliable predictions about the quantitative aspects of the transition, including the location and the width of the transition region. These techniques apply to regularized linear inverse problems with random measurements, to demixing problems under a random incoherence model, and also to cone programs with random affine constraints. The applied results depend on foundational research in conic geometry. This paper introduces a summary parameter, called the statistical dimension, that canonically extends the dimension of a linear subspace to the class of convex cones. The main technical result demonstrates that the sequence of intrinsic volumes of a convex cone concentrates sharply around the statistical dimension. This fact leads to accurate bounds on the probability that a randomly rotated cone shares a ray with a fixed cone.

研究动机与目标

• 解释随机凸优化问题（如压缩感知和分离问题中出现的问题）中相变现象普遍存在的原因。
• 建立一个几何框架，以预测随机凸规划中相变的位置与宽度。
• 引入统计维数作为线性维数向凸锥的规范推广，从而实现对随机凸可行性问题的定量分析。
• 建立凸锥内在体积在其统计维数附近的精确集中性，从而为锥的交集提供概率界。
• 将该理论应用于正则化逆问题、分离问题以及具有随机约束的锥规划，提供严格的性能保证。

提出的方法

• 将统计维数 δ(C) 定义为凸锥 C 的推广，通过其与标准高斯向量的平方内积的期望值来定义。
• 证明凸锥的内在体积在其统计维数附近出现精确集中，表明锥的几何结构由这一单一参数主导。
• 利用内在体积的集中性，推导出随机旋转后的锥与固定锥相交的概率上界，该概率可建模为随机凸规划中的可行性。
• 通过将可行集的统计维数与约束数量关联，推导出具有随机仿射约束的凸规划的成功概率上界。
• 将该框架应用于正则化逆问题（如 ℓ₁ 最小化）、非相干条件下的分离问题，以及锥规划，利用高斯宽度与尾部函数不等式。
• 借助对偶性与锥几何，推导出一个精确的阈值条件：当约束数量超过解锥的统计维数时，成功以高概率发生。

实验结果

研究问题

• RQ1 为何在随机凸优化问题（如稀疏恢复中的 ℓ₁ 最小化）中会出现相变？
• RQ2 相变的位置由哪些问题参数（如稀疏度与测量数）决定？
• RQ3 成功概率从接近 0 到接近 1 的过渡区域有多宽？
• RQ4 是否存在一个单一的几何不变量，可统一预测各类具有随机数据的凸规划中的阈值行为？
• RQ5 统计维数如何被用于统一并预测不同随机凸优化问题的性能？

主要发现

• 凸锥 C 的统计维数 δ(C) 可作为随机凸规划中相变阈值的精确预测指标：当约束数量超过 δ(C) 时，成功概率极高。
• 凸锥的内在体积在其统计维数附近出现精确集中，表明该锥的高维几何结构可由这一单一标量充分刻画。
• 在压缩感知的 ℓ₁ 最小化中，当测量数 m 超过约 2s log(d/s) 时发生相变，其中 s 为稀疏度，d 为环境维数——该阈值由下降锥的统计维数精确预测。
• 过渡区域的宽度为 O(√δ(C)) 量级，表明当 δ(C) 较大时（通常出现在高维情形），相变过程极为陡峭。
• 球面上凸集的高斯宽度与该集合统计维数的平方根相当，建立了高维空间中概率度量与几何度量之间的联系。
• 该理论具有广泛适用性：可预测正则化逆问题、随机非相干条件下的分离问题，以及具有随机仿射约束的一般锥规划中的相变行为。