[论文解读] Gordon's inequality and condition numbers in conic optimization

Dennis Amelunxen, Martin Lötz|arXiv (Cornell University)|Aug 13, 2014

Advanced Optimization Algorithms Research参考文献 35被引用 10

一句话总结

本文通过将Slepian和Gordon的高斯比较不等式解释为凸锥上矩泛函的单调性性质，统一了锥优化中条件数的概率分析——利用高斯比较不等式，特别是Slepian和Gordon的不等式，对Renegar条件数和高斯矩阵在凸锥上限制的奇异值建立了更紧的界，将积分几何与随机矩阵理论相联系，从而改进了尾部概率估计和渐近行为分析。

ABSTRACT

The probabilistic analysis of condition numbers has traditionally been approached from different angles; one is based on Smale's program in complexity theory and features integral geometry, while the other is motivated by geometric functional analysis and makes use of the theory of Gaussian processes. In this note we explore connections between the two approaches in the context of the biconic homogeneous feasiblity problem and the condition numbers motivated by conic optimization theory. Key tools in the analysis are Slepian's and Gordon's comparision inequalities for Gaussian processes, interpreted as monotonicity properties of moment functionals, and their interplay with ideas from conic integral geometry.

研究动机与目标

• 弥合条件数分析中两个传统研究方向：Smale的复杂性理论与几何泛函分析。
• 分析锥优化中条件数的概率行为，特别是高斯随机算子在凸锥上限制时的情形。
• 利用高斯比较不等式与锥的积分几何，建立条件数的更紧尾部界。
• 研究高维设置下受限奇异值与范数的渐近行为。
• 探究高斯比较不等式是否能对Renegar条件数的分布提供有效界。

提出的方法

• 利用Slepian和Gordon的比较不等式，推导凸体上矩泛函的单调性性质。
• 引入正交不变的取值（矩泛函），以推广锥限制随机算子的高阶矩。
• 将这些泛函应用于有界高斯宽度和线性图像在凸锥上的统计维数。
• 将矩泛函推广至凸丛，以在受限奇异值的背景下几何化解释Gordon不等式。
• 应用球面管公式与运动公式，分析小奇异值和病态问题的概率。
• 利用比较不等式的子高斯推广，以考虑非高斯分布。

实验结果

研究问题

• RQ1 Slepian和Gordon不等式对锥限制奇异值导出的界在高维下是否达到渐近精确？
• RQ2 受限算子范数和最小奇异值的渐近行为能否用锥的统计维数表征？
• RQ3 能否利用高斯比较技术推导出Renegar条件数对数期望的多项式界？
• RQ4 能否在凸丛上构造一个压缩映射，以获得对病态距离的有效尾部界？
• RQ5 能否为锥限制矩阵范数与奇异值发展广义的Steiner公式，以推广Edelman的精确公式？

主要发现

• Slepian和Gordon不等式被解释为凸锥上矩泛函的单调性性质，从而为锥限制算子的高阶矩提供了新界。
• 通过这些矩泛函，本文推导出线性图像在凸锥上的高斯宽度和统计维数的界。
• 对于Stiefel流形 $\operatorname{St}_{n,m}$ 上的随机矩阵 $\bm{U}$，尾部概率 $\mathbb{P}\{\mathcal{R}_C(\bm{U}) \geq t\}$ 被一个包含系数 $v_k(C)$ 和随 $t \to \infty$ 衰减的函数 $f_{m,n,k}(t)$ 的和所界定，从而得到条件数对数期望的多项式界。
• 基于管公式估计的条件数分布，高斯比较不等式导出的界未能捕捉其完整衰减，表明其直接适用性存在局限。
• 提出渐近猜想：当 $m,n \to \infty$ 且 $m/n \to \text{const}$ 时，若统计维数收敛，则 $\|\bm{G}\|_{C\to D} \sim \sqrt{dn} + \sqrt{cm}$ 且 $\sigma_{C\to D}(\bm{G}) \sim \sqrt{dn} - \sqrt{cm}$。
• 本文建议，基于比较不等式已知的子高斯推广，将这些结果扩展至子高斯矩阵是可行的。