[论文解读] Approximating the Permanent by Sampling from Adaptive Partitions

Jonathan Kuck, Tri Dao+3 more|arXiv (Cornell University)|Nov 26, 2019

Markov Chains and Monte Carlo Methods被引用 5

一句话总结

该论文提出AdaPart，一种新颖方法，通过自适应划分和对划分函数的上界估计，实现从非归一化分布中精确采样。该方法可实现高概率、多项式时间的稠密矩阵永久值近似，相比先前方法提速超过25倍，并通过在粒子滤波中实现最优提议采样，使多目标跟踪的采样次数减少10倍。

ABSTRACT

Computing the permanent of a non-negative matrix is a core problem with practical applications ranging from target tracking to statistical thermodynamics. However, this problem is also #P-complete, which leaves little hope for finding an exact solution that can be computed efficiently. While the problem admits a fully polynomial randomized approximation scheme, this method has seen little use because it is both inefficient in practice and difficult to implement. We present AdaPart, a simple and efficient method for drawing exact samples from an unnormalized distribution. Using AdaPart, we show how to construct tight bounds on the permanent which hold with high probability, with guaranteed polynomial runtime for dense matrices. We find that AdaPart can provide empirical speedups exceeding 25x over prior sampling methods on matrices that are challenging for variational based approaches. Finally, in the context of multi-target tracking, exact sampling from the distribution defined by the matrix permanent allows us to use the optimal proposal distribution during particle filtering. Using AdaPart, we show that this leads to improved tracking performance using an order of magnitude fewer samples.

研究动机与目标

• 解决非负矩阵永久值计算的计算不可行性问题，该问题为#P-完全问题，精确计算在实际中不可行。
• 开发一种实用且高效的永久值近似方法，克服现有FPRAS算法因速度过慢而无法在实际中应用的局限性。
• 通过自适应划分和对划分函数的可证明嵌套上界，实现从未归一化分布中精确采样。
• 通过在粒子滤波中实现从最优提议分布的采样，提升多目标跟踪性能。
• 提供一种通用框架，不仅适用于永久值估计，还可推广至其他划分函数估计问题。

提出的方法

• AdaPart采用状态空间的自适应划分，根据目标分布动态选择划分，提升上界紧致性与采样效率。
• 利用任意满足运行时验证的‘嵌套’性质的划分函数上界，保证从未归一化分布中精确采样。
• 该方法采用递归细化过程，检查上界是否在各划分内自嵌套，确保正确性与收敛性。
• 针对永久值，AdaPart提出一种新型、更紧致的上界估计，可在多项式时间内计算，优于先前的嵌套上界方法。
• 该算法通过在粒子滤波中实现从由矩阵永久值定义的最优提议分布中精确采样，实现与粒子滤波的集成。
• 通过重复采样，可获得对永久值的紧致、高概率上界，具备误差保证，且对稠密矩阵具有多项式时间复杂度。

实验结果

研究问题

• RQ1 与固定划分方法相比，自适应划分是否能提升从未归一化分布中采样的效率与准确性？
• RQ2 能否设计一种通用采样方法，仅依赖划分函数的上界，即保证精确采样？
• RQ3 在永久值估计方面，AdaPart与现有FPRAS和变分近似方法相比，在性能与准确性上表现如何？
• RQ4 在粒子滤波中，从最优提议分布中实现精确采样是否能显著提升多目标跟踪性能，同时减少采样次数？
• RQ5 在稠密与稀疏矩阵中，更紧致、自适应的上界对永久值估计有何影响？

主要发现

• 在变分方法难以处理的矩阵上，AdaPart在实际采样中实现超过25倍的速度提升。
• 在稠密矩阵上，AdaPart可提供对永久值的可证明多项式时间上界，且在高概率下表现优于理论FPRAS。
• 在多目标跟踪中，AdaPart实现了从最优提议分布的采样，使所需采样数减少一个数量级，同时提升对数似然值并降低均方误差。
• 通过额外的并行计算，该方法的采样上界可任意收紧，而固定上界（如Sinkhorn方法）本质上较松且无法改进。
• AdaPart的上界显著优于基于Sinkhorn的变分上界，在某些情况下（如cage5矩阵）对数上界差异可达20+单位。
• 在稀疏矩阵上，该方法表现良好，但若能采用更紧致的上界（如Bethe近似），性能可能进一步提升，尽管高效实现Bethe近似在计算上仍具挑战。