[논문 리뷰] Computing Maximum Entropy Distributions Everywhere.

Damian Straszak, Nisheeth K. Vishnoi|arXiv (Cornell University)|2017. 11. 06.

Markov Chains and Monte Carlo Methods참고 문헌 24인용 수 4

한 줄 요약

이 논문은 기대값 벡터에 대한 제약 없이 큰 이산 도메인 위에서 최대 엔트로피 분포를 계산하는 일반적인 알고리즘을 제시한다. 이는 이전 연구에서의 핵심적 한계를 해결한다. 볼록기하학과 다면체기하학을 통해 근사 최적의 이중 해의 다항 비트 복잡도 상한을 확립함으로써, 최대 엔트로피 분포의 효율적 계산이 가능해지고, 이는 이산 수세기, 행렬 스케일링, Brascamp-Lieb 상수 문제의 해법을 통합한다.

ABSTRACT

We study the problem of computing the maximum entropy distribution with a specified expectation over a large discrete domain. Maximum entropy distributions arise and have found numerous applications in economics, machine learning and various sub-disciplines of mathematics and computer science. The key computational questions related to maximum entropy distributions are whether they have succinct descriptions and whether they can be efficiently computed. Here we provide positive answers to both of these questions for very general domains and, importantly, with no restriction on the expectation. This completes the picture left open by the prior work on this problem which requires that the expectation vector is polynomially far in the interior of the convex hull of the domain. As a consequence we obtain a general algorithmic tool and show how it can be applied to derive several old and new results in a unified manner. In particular, our results imply that certain recent continuous optimization formulations, for instance, for discrete counting and optimization problems, the matrix scaling problem, and the worst case Brascamp-Lieb constants in the rank-1 regime, are efficiently computable. Attaining these implications requires reformulating the underlying problem as a version of maximum entropy computation where optimization also involves the expectation vector and, hence, cannot be assumed to be sufficiently deep in the interior. The key new technical ingredient in our work is a polynomial bound on the bit complexity of near-optimal dual solutions to the maximum entropy convex program. This result is obtained by a geometrical reasoning that involves convex analysis and polyhedral geometry, avoiding combinatorial arguments based on the specific structure of the domain. We also provide a lower bound on the bit complexity of near-optimal solutions showing the tightness of our results.

연구 동기 및 목표

• 기대값 벡터가 도메인의 볼록 hull의 내부가 아니라 경계 근처에 있을 때 최대 엔트로피 분포를 계산하는 열린 문제를 해결하기 위해.
• 구조적 가정 없이 다양한 도메인에 적용 가능한 최대 엔트로피 분포에 대한 일반적인 계산 프레임워크를 수립하기 위해.
• 최대 엔트로피 볼록 프로그래밍에서 근사 최적의 이중 해의 다항 비트 복잡도 상한을 제공하여 효율적 계산을 가능하게 하기 위해.
• 이산 수세기, 행렬 스케일링, Brascamp-Lieb 부등식의 이전 결과들을 최대 엔트로피 문제로 재구성함으로써 통합하고 확장하기 위해.
• 비트 복잡도 상한의 날카러움을 일치하는 하한을 통해 입증하여 이론적 한계의 최적성 확인하기 위해.

제안 방법

• 기대값 벡터에 대한 제약 조건을 포함한 볼록 최적화 프로그램으로 최대 엔트로피 문제를 수식화하기 위해.
• 최대 엔트로피 문제의 이중 형태를 도입하고, 볼록기하학과 다면체기하학을 이용하여 근사 최적의 이중 해의 비트 복잡도를 분석하기 위해.
• 가능영역의 기하적 성질을 활용하여 이중 해의 비트 복잡도에 대한 다항 상한을 수립함으로써, 조합적 도메인 특성에 의존하지 않는 방식으로 접근하기 위해.
• 상한의 날카러움을 입증하기 위해 비트 복잡도에 대한 일치하는 하한을 증명하여 결과의 최적성 확인하기 위해.
• 이산 수세기, 행렬 스케일링, 악성 Brascamp-Lieb 상수와 같은 다양한 문제를 기대값이 변하는 최대 엔트로피 계산의 사례로 재구성하기 위해.
• 다항 비트 복잡도 결과를 활용하여, 기대값이 내부가 아닐 경우에도 효율적으로 최대 엔트로피 분포를 계산할 수 있는 일반 목적 알고리즘 설계하기 위해.

실험 결과

연구 질문

• RQ1 기대값 벡터가 도메인의 볼록 hull의 경계 근처에 있을 경우 최대 엔트로피 분포를 효율적으로 계산할 수 있는가?
• RQ2 최대 엔트로피 볼록 프로그래밍에서 근사 최적의 이중 해의 비트 복잡도는 무엇이며, 다항적으로 상한을 둘 수 있는가?
• RQ3 최대 엔트로피 프레임워크는 기대값이 내부가 아닐 경우에도 이산 수세기, 행렬 스케일링, Brascamp-Lieb 상수 문제에 동일하게 적용 가능한가?
• RQ4 이중 해에 대한 다항 비트 복잡도 상한은 날카로운가? 그러한 해에 대해 가능한 최소 비트 복잡도는 얼마인가?
• RQ5 조합적 도메인 특성에 의존하지 않고 볼록기하학과 다면체기하학을 어떻게 활용하여 비트 복잡도 상한을 유도할 수 있는가?

주요 결과

• 어떤 이산 도메인과 기대값 벡터에 대해서든, 최대 엔트로피 볼록 프로그래밍의 근사 최적 이중 해에 대한 다항 상한이 비트 복잡도에 확립되었다.
• 일치하는 하한을 통해 비트 복잡도 상한이 날카로움을 입증하여 결과의 최적성이 확인되었다.
• 기대값 벡터가 볼록 hull의 경계에서 다항적으로 멀리 떨어져 있지 않더라도, 최대 엔트로피 분포의 효율적 계산이 가능해졌다.
• 이 접근은 이산 수세기, 행렬 스케일링, 랭크-1 영역에서의 악성 Brascamp-Lieb 상수 문제의 이전 결과들을 통합하고 일반화한다.
• 도메인의 구조에 기반한 조합적 추론을 피하고, 볼록기하학과 다면체 분석의 기하적 추론에 의존한다.
• 알고리즘 프레임워크는 최대 엔트로피 재구성 기반으로 넓은 범위의 최적화 및 수세기 문제를 해결하는 일반 도구를 제공한다.