[论文解读] Faster polytope rounding, sampling, and volume computation via a sublinear "Ball Walk"

Oren Mangoubi, Nisheeth K. Vishnoi|arXiv (Cornell University)|May 5, 2019

Markov Chains and Monte Carlo Methods参考文献 25被引用 4

一句话总结

本文提出了一种用于从多面体中采样的球随机游走马尔可夫链的亚线性时间变体，通过智能跳过影响较小的约束，将每步的算术运算从$O(mn)$减少到$O(m)$。该方法实现了更快的各向同性归一化、采样和体积计算，在标准假设下，将先前的$\tilde{O}(mn^5)$界改进为$\tilde{O}(mn^{4.5})$，当$m \gtrsim n^{2.5}$或$m \gtrsim n^{1.5}$时，性能提升显著。

ABSTRACT

We study the problem of "isotropically rounding" a polytope $K\subset\mathbb{R}^n$, that is, computing a linear transformation which makes the uniform distribution on the polytope have roughly identity covariance matrix. We assume $K$ is defined by $m$ linear inequalities, with guarantee that $rB\subset K\subset RB$, where $B$ is the unit ball. We introduce a new variant of the ball walk Markov chain and show that, roughly, the expected number of arithmetic operations per-step of this Markov chain is $O(m)$ that is sublinear in the input size $mn$--the per-step time of all prior Markov chains. Subsequently, we give a rounding algorithm that succeeds with probability $1-\varepsilon$ in $ ilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$ arithmetic operations. This gives a factor of $\sqrt{n}$ improvement on the previous bound of $ ilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$ for rounding, which uses the hit-and-run algorithm. Since the rounding preprocessing step is in many cases the bottleneck in improving sampling or volume computation, our results imply these tasks can also be achieved in roughly $ ilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})+mn^4δ^{-2})$ operations for computing the volume of $K$ up to a factor $1+δ$ and $ ilde{O}(mn^{4.5}\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})))$ for uniformly sampling on $K$ with TV error $\varepsilon$. This improves on the previous bounds of $ ilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r})+mn^4δ^{-2})$ for volume computation when roughly $m\geq n^{2.5}$, and $ ilde{O}(mn^5\mbox{polylog}(\frac{1}{\varepsilon},\frac{R}{r}))$ for sampling when roughly $m\geq n^{1.5}$. We achieve this improvement by a novel method of computing polytope membership, where one avoids checking inequalities estimated to have a very low probability of being violated.

研究动机与目标

• 开发一种更快的算法，用于在给定内部和外部球体保证的前提下，对$\mathbb{R}^n$中由$m$个线性不等式定义的多面体进行各向同性归一化。
• 将马尔可夫链采样方法的每步计算成本降低至$mn$输入大小以下。
• 通过加速各向同性归一化的预处理步骤，提升采样和体积计算的整体运行时间。
• 在$m \gtrsim n^{2.5}$或$m \gtrsim n^{1.5}$的场景下，实现更优的$n$依赖关系，提升体积估计和采样速度。

提出的方法

• 提出一种新颖的球随机游走马尔可夫链变体，通过避免检查违反概率较低的不等式，使每步的期望算术运算量仅为$O(m)$。
• 采用动态过滤策略，估计约束违反的可能性，并在每一步中跳过非关键的不等式。
• 利用多面体内部$n^{-3}$区域的热启动，确保快速混合并高效收敛至各向同性位置。
• 结合拒绝采样与修改后的球随机游走，生成与多面体上均匀分布的总变差误差为$\varepsilon$的样本。
• 应用近期结果：当从$O(1)$-热启动开始时，$O(n^{2.5}\log(1/\varepsilon))$个有效步骤足以完成采样。
• 将新型亚线性球随机游走与现有体积和采样算法结合，实现更优的整体复杂度界。

实验结果

研究问题

• RQ1 是否可以将多面体上马尔可夫链采样的每步成本降低至$mn$输入大小以下？
• RQ2 能否设计一种球随机游走变体，在不检查所有$m$个不等式的情况下保持正确性和收敛性？
• RQ3 对低影响约束进行智能剪枝如何影响各向同性归一化中的混合时间和采样精度？
• RQ4 使用新型亚线性球随机游走后，体积计算和采样复杂度的渐近改进程度如何？
• RQ5 在高维场景下，新方法是否能在$n$和$m$的依赖关系上优于以往工作？

主要发现

• 所提出的球随机游走变体将每步的期望算术运算量从$O(mn)$降低至$O(m)$，实现了每步的亚线性时间。
• 各向同性归一化算法以概率$1 - \varepsilon$在$\tilde{O}(mn^{4.5}\mathrm{polylog}(1/\varepsilon, R/r))$次算术运算内成功，相比先前界提升了$\sqrt{n}$倍。
• 在$\delta$因子内完成多面体体积计算，耗时为$\tilde{O}(mn^{4.5}\mathrm{polylog}(1/\varepsilon, R/r) + mn^4\delta^{-2})$次运算，当$m \gtrsim n^{2.5}$时，优于先前结果。
• 以总变差误差$\varepsilon$从多面体上均匀分布采样，耗时为$\tilde{O}(mn^{4.5}\mathrm{polylog}(1/\varepsilon, R/r))$次运算，当$m \gtrsim n^{1.5}$时，优于先前界。
• 该方法引入了一种新颖的约束检查策略，跳过违反概率较低的不等式，预计对更广泛的约束采样与优化问题具有益处。
• 理论分析证实，新算法在显著降低计算开销的同时，保持了正确性和收敛性保证。