[论文解读] Polynomial Time Algorithms for Dual Volume Sampling

Chengtao Li, Stefanie Jegelka+1 more|arXiv (Cornell University)|Mar 8, 2017

Markov Chains and Monte Carlo Methods被引用 14

一句话总结

本文提出了首个针对对偶体积采样（DVS）的多项式时间随机化与确定化算法，DVS 是一种从短而宽的矩阵（n × m，n ≤ k ≤ m）中选择 k 列的方法，其选择概率与所选列构成的子矩阵的行列式成正比。关键贡献在于通过实稳定多项式理论证明了 DVS 满足强雷莱（Strong Rayleigh）性质，从而实现了可证明快速混合的马尔可夫链采样器，并为 A- 和 E- 最优实验设计建立了近似保证。

ABSTRACT

We study dual volume sampling, a method for selecting k columns from an n x m short and wide matrix (n <= k <= m) such that the probability of selection is proportional to the volume spanned by the rows of the induced submatrix. This method was proposed by Avron and Boutsidis (2013), who showed it to be a promising method for column subset selection and its multiple applications. However, its wider adoption has been hampered by the lack of polynomial time sampling algorithms. We remove this hindrance by developing an exact (randomized) polynomial time sampling algorithm as well as its derandomization. Thereafter, we study dual volume sampling via the theory of real stable polynomials and prove that its distribution satisfies the "Strong Rayleigh" property. This result has numerous consequences, including a provably fast-mixing Markov chain sampler that makes dual volume sampling much more attractive to practitioners. This sampler is closely related to classical algorithms for popular experimental design methods that are to date lacking theoretical analysis but are known to empirically work well.

研究动机与目标

• 解决对偶体积采样（DVS）长期存在的开放问题：尽管其在列子集选择方面具有强大的理论与实际潜力，但长期以来缺乏多项式时间算法。
• 开发出可在多项式时间内运行的精确随机化与确定化 DVS 算法，克服其在实际应用中推广的主要瓶颈。
• 利用实稳定多项式理论证明 DVS 分布满足强雷莱性质，从而解锁新的理论与算法后果。
• 通过 DVS 为 A- 和 E- 最优实验设计提供可证明的紧致近似保证，其性能与现有方法相比达到或超越已有界限。
• 将 DVS 与经典实验设计及图论算法相连接，揭示其在预条件处理、低拉伸生成树以及网络可控性中的相关性。

提出的方法

• 提出一种随机多项式时间算法，用于从 n×m 矩阵（n ≤ k ≤ m）中采样 k 列，使得选择集合 S 的概率与 det(A_S A_S^T) 成正比。
• 通过在每一步使用条件期望最小化，推导出一种确定化算法，以确定性方式选择列子集 S，使其满足与随机版本相同的近似界。
• 通过利用实稳定多项式理论分析相关生成多项式，证明 DVS 分布满足强雷莱性质。
• 利用强雷莱性质构建一个可证明快速混合的马尔可夫链采样器，从而在实践中实现高效采样。
• 运用矩阵恒等式与行列式运算，将 DVS 与体积采样相联系，并推导出用于确定化过程的条件期望。
• 通过将方法应用于实验设计，证明伪逆的期望 Frobenius 范数与谱范数受已知近似因子的有界。

实验结果

研究问题

• RQ1 尽管对偶体积采样在列子集选择方面具有理论优势，是否能够实现多项式时间采样？
• RQ2 对偶体积采样分布是否满足强雷莱性质，从而意味着负相关性与快速混合？
• RQ3 DVS 分布能否被确定化，以实现 A- 与 E- 最优设计的确定性近似保证？
• RQ4 在实践中，DVS 的近似界与勒维格度采样或贪心算法等其他方法相比如何？
• RQ5 DVS 与经典实验设计及图论算法（如低拉伸生成树）之间存在何种联系？

主要发现

• 本文首次提出对偶体积采样（DVS）的多项式时间随机化与确定化算法，解决了长期存在的开放问题。
• 证明了 DVS 分布满足强雷莱性质，这意味着负相关性，并可实现可证明快速混合的马尔可夫链采样器。
• 确定化算法实现了与随机版本相同的近似保证：E[||A_S^†||_F²] ≤ (m−n+1)/(k−n+1) ||A^†||_F² 与 E[||A_S^†||_2²] ≤ (1 + n(m−k)/(k−n+1)) ||A^†||_2²。
• 确定性算法输出的列子集 S 满足 ||A_S^†||_F² ≤ (m−n+1)/(k−n+1) ||A^†||_F² 与 ||A_S^†||_2² ≤ n(m−n+1)/(k−n+1) ||A^†||_2²。
• 理论框架将 DVS 与经典实验设计及图论算法相连接，揭示其在预条件处理、低拉伸生成树与网络可控性中的相关性。
• 实验结果表明，基于 DVS 的采样效率高（耗时低于 1 秒），在性能上与贪心法及基于优化的方法相当，尽管并非始终更优。