[论文解读] Computing Maximum Entropy Distributions Everywhere.

Damian Straszak, Nisheeth K. Vishnoi|arXiv (Cornell University)|Nov 6, 2017

Markov Chains and Monte Carlo Methods参考文献 24被引用 4

一句话总结

本文提出了一种通用算法，用于在无期望向量限制的大离散域上计算最大熵分布，解决了先前工作中一个关键的局限性。通过利用凸几何与多面体几何，建立近似最优对偶解的多项式位复杂度上界，该方法实现了最大熵分布的高效计算，并统一了离散计数、矩阵缩放和Brascamp-Lieb常数等问题的解法。

ABSTRACT

We study the problem of computing the maximum entropy distribution with a specified expectation over a large discrete domain. Maximum entropy distributions arise and have found numerous applications in economics, machine learning and various sub-disciplines of mathematics and computer science. The key computational questions related to maximum entropy distributions are whether they have succinct descriptions and whether they can be efficiently computed. Here we provide positive answers to both of these questions for very general domains and, importantly, with no restriction on the expectation. This completes the picture left open by the prior work on this problem which requires that the expectation vector is polynomially far in the interior of the convex hull of the domain. As a consequence we obtain a general algorithmic tool and show how it can be applied to derive several old and new results in a unified manner. In particular, our results imply that certain recent continuous optimization formulations, for instance, for discrete counting and optimization problems, the matrix scaling problem, and the worst case Brascamp-Lieb constants in the rank-1 regime, are efficiently computable. Attaining these implications requires reformulating the underlying problem as a version of maximum entropy computation where optimization also involves the expectation vector and, hence, cannot be assumed to be sufficiently deep in the interior. The key new technical ingredient in our work is a polynomial bound on the bit complexity of near-optimal dual solutions to the maximum entropy convex program. This result is obtained by a geometrical reasoning that involves convex analysis and polyhedral geometry, avoiding combinatorial arguments based on the specific structure of the domain. We also provide a lower bound on the bit complexity of near-optimal solutions showing the tightness of our results.

研究动机与目标

• 解决在期望向量位于域的凸包边界附近而非内部时计算最大熵分布的开放问题。
• 建立一个适用于广泛领域、无需结构假设的最大熵分布通用计算框架。
• 为最大熵凸规划中的近似最优对偶解提供多项式位复杂度上界，以实现高效计算。
• 通过将问题重新表述为最大熵问题，统一并扩展离散计数、矩阵缩放和Brascamp-Lieb不等式方面的先前结果。
• 通过匹配的下界证明位复杂度上界的紧致性，确认理论极限的最优性。

提出的方法

• 将最大熵问题表述为带有期望向量约束的凸优化问题。
• 引入最大熵问题的对偶形式，并利用凸几何与多面体几何分析近似最优对偶解的位复杂度。
• 通过利用可行域的几何性质，建立对偶解位复杂度的多项式上界，避免使用组合性领域特定论证。
• 证明位复杂度的匹配下界，以确认上界紧致性，从而确认结果的最优性。
• 将离散计数、矩阵缩放和最坏情况Brascamp-Lieb常数等多样化问题重新表述为具有可变期望的最熵计算实例。
• 利用多项式位复杂度结果，设计一种通用算法，即使期望不在内部时也能高效计算最大熵分布。

实验结果

研究问题

• RQ1 当期望向量位于域的凸包边界附近时，能否高效计算最大熵分布？
• RQ2 最大熵凸规划中近似最优对偶解的位复杂度是多少？能否实现多项式有界？
• RQ3 最大熵框架能否在不假设期望位于内部的前提下，统一应用于离散计数、矩阵缩放和Brascamp-Lieb常数等问题？
• RQ4 对偶解的多项式位复杂度上界是否紧致？此类解的最小可能位复杂度是多少？
• RQ5 如何利用凸几何与多面体几何推导位复杂度上界，而无需依赖于域的组合性质？

主要发现

• 为最大熵凸规划中近似最优对偶解的位复杂度建立了多项式上界，适用于任意离散域和任意期望向量。
• 通过匹配的下界证明了该位复杂度上界是紧致的，确认了结果的最优性。
• 该框架即使在期望向量距离凸包边界非多项式远时，也能实现最大熵分布的高效计算。
• 该方法统一并推广了在秩-1情形下离散计数、矩阵缩放和最坏情况Brascamp-Lieb常数方面的先前结果。
• 该方法避免了基于域结构的组合性论证，转而依赖凸几何与多面体分析的几何推理。
• 该算法框架提供了一类通用工具，可通过最大熵重构求解广泛的优化与计数问题。