[论文解读] Entropy, Optimization and Counting

Mohit Singh, Nisheeth K. Vishnoi|arXiv (Cornell University)|Apr 30, 2013

Bayesian Modeling and Causal Inference参考文献 30被引用 4

一句话总结

该论文建立了计数离散组合集合大小与计算其最大熵分布之间的等价性，表明一种问题的高效算法可转化为另一种问题的高效算法。在温和条件下，最大熵分布具有多项式大小的表示形式，作者提出了一种基于椭球法的多项式时间算法，利用分离预言机和近似优化，实现了高效的计数与熵计算。

ABSTRACT

In this paper we study the problem of computing max-entropy distributions over a discrete set of objects subject to observed marginals. Interest in such distributions arises due to their applicability in areas such as statistical physics, economics, biology, information theory, machine learning, combinatorics and, more recently, approximation algorithms. A key difficulty in computing max-entropy distributions has been to show that they have polynomially-sized descriptions. We show that such descriptions exist under general conditions. Subsequently, we show how algorithms for (approximately) counting the underlying discrete set can be translated into efficient algorithms to (approximately) compute max-entropy distributions. In the reverse direction, we show how access to algorithms that compute max-entropy distributions can be used to count, which establishes an equivalence between counting and computing max-entropy distributions.

研究动机与目标

• 解决当集合以隐式方式给出时，在指数级大的离散集合上表示和计算最大熵分布的根本计算挑战。
• 证明在一般条件下，最大熵分布可具有简洁的、多项式大小的描述，从而克服显式表示中的指数爆炸问题。
• 建立近似计数组合集合与近似计算最大熵分布之间的紧密计算等价性。
• 设计一种基于椭球法和分离预言机的多项式时间算法，通过访问近似最大熵预言机来估计组合集合的大小。
• 证明在最大边际多面体上进行高效优化可实现高效计数，反之亦然，前提是边际满足温和的内部性条件。

提出的方法

• 将最大熵问题表述为在边际多面体上的凸规划问题，利用对偶性将变量数从 |M| 减少到 m（元素个数）。
• 使用椭球算法配合边际多面体 P_η(M) 的 η-内部的分离预言机，即使可行区域不是满维的，也能确保收敛。
• 构建一个分离预言机，通过验证最大熵规划的对偶解是否满足某些下界，来判断给定的 θ 是否属于 P(M) 的 η-内部。
• 利用 Jerrum-Valiant-Vazirani 框架，建立近似计数与近似采样之间的等价性，从而将采样问题转化为计数问题，反之亦然。
• 在 |M| 的对数值上设计二分查找过程，使用近似最大熵预言机测试 log|Z| 的猜测值，并通过椭球法逐步优化估计。
• 通过证明椭球算法中使用的分离超平面不会切掉任何满足 g(θ) ≥ ζ + ε/16 的 θ，从而证明算法的正确性，确保不会过早剔除真实解。

实验结果

研究问题

• RQ1 在隐式定义的、指数级大的离散集合上，最大熵分布是否可用多项式数量的比特进行表示？
• RQ2 近似计数组合集合与近似计算最大熵分布之间是否存在计算等价性？
• RQ3 当集合 M 以隐式方式给出时，椭球法能否有效应用于边际多面体以实现最大熵计算？
• RQ4 在何种条件下，最大熵规划的对偶解能产生边际多面体内部的有效分离预言机？
• RQ5 如何利用对近似最大熵预言机的访问，实现对集合 M 大小的 (1±ε) 近似？

主要发现

• 在边际满足温和条件时，即使底层集合 M 是指数级大的，最大熵分布仍可通过对偶变量 γ_e 实现多项式大小的描述。
• 本文建立了计算等价性：|M| 的近似计数可在多项式时间内完成，当且仅当最大熵分布的近似计算也可在多项式时间内完成。
• 提出了一种基于椭球法的算法，利用近似最大熵预言机，以多项式时间 (在 m 和 1/ε 上) 计算出 |M| 的 (1±ε) 近似值。
• 该算法确保最终估计值 Z^∘ 满足 (1−ε)|M| ≤ Z^∘ ≤ (1+ε)|M|，以高概率成立，方法是通过在真实解周围维护一系列不断缩小的椭球。
• 该算法的正确性依赖于一个分离预言机，该预言机避免切掉 g(θ) = log Z_λ 较高的点，从而确保收敛到 log|M| 的良好估计。
• 该方法在假设真实边际向量 θ^• 属于 P(M) 的 η-内部时成立，这保证了椭球算法可在多项式时间内收敛。