[論文レビュー] Computing Maximum Entropy Distributions Everywhere.

Damian Straszak, Nisheeth K. Vishnoi|arXiv (Cornell University)|Nov 6, 2017

Markov Chains and Monte Carlo Methods参考文献 24被引用数 4

ひとこと要約

本稿では、期待値ベクトルに制限のない大規模な離散ドメイン上での最大エントロピー分布を計算する一般化されたアルゴリズムを提示する。これは、先行研究における主要な制限を解消するものである。凸および多面体幾何学を用いて、近似的最適な双対解の多項式的ビット複雑性バウンドを確立することで、最大エントロピー分布の効率的計算が可能となり、離散的数え上げ、行列スケーリング、Brascamp-Lieb定数の問題に対する解法が統一される。

ABSTRACT

We study the problem of computing the maximum entropy distribution with a specified expectation over a large discrete domain. Maximum entropy distributions arise and have found numerous applications in economics, machine learning and various sub-disciplines of mathematics and computer science. The key computational questions related to maximum entropy distributions are whether they have succinct descriptions and whether they can be efficiently computed. Here we provide positive answers to both of these questions for very general domains and, importantly, with no restriction on the expectation. This completes the picture left open by the prior work on this problem which requires that the expectation vector is polynomially far in the interior of the convex hull of the domain. As a consequence we obtain a general algorithmic tool and show how it can be applied to derive several old and new results in a unified manner. In particular, our results imply that certain recent continuous optimization formulations, for instance, for discrete counting and optimization problems, the matrix scaling problem, and the worst case Brascamp-Lieb constants in the rank-1 regime, are efficiently computable. Attaining these implications requires reformulating the underlying problem as a version of maximum entropy computation where optimization also involves the expectation vector and, hence, cannot be assumed to be sufficiently deep in the interior. The key new technical ingredient in our work is a polynomial bound on the bit complexity of near-optimal dual solutions to the maximum entropy convex program. This result is obtained by a geometrical reasoning that involves convex analysis and polyhedral geometry, avoiding combinatorial arguments based on the specific structure of the domain. We also provide a lower bound on the bit complexity of near-optimal solutions showing the tightness of our results.

研究の動機と目的

• ドメインの凸包の境界付近に位置する期待値ベクトルに対する最大エントロピー分布の計算という未解決問題を解決すること。
• 構造的仮定なしに多様なドメインに適用可能な、最大エントロピー分布の一般化された計算フレームワークを確立すること。
• 最大エントロピー凸計画問題における近的最適双対解の多項式的ビット複雑性バウンドを提供することにより、効率的計算を可能にすること。
• 離散的数え上げ、行列スケーリング、Brascamp-Lieb不等式の先行結果を、最大エントロピー問題として再定式化することで統一・拡張すること。
• ビット複雑性バウンドのタイトネスを、一致する下界を用いて示し、理論的限界の最適性を確認すること。

提案手法

• 期待値ベクトルの制約を含む凸最適化プログラムとして最大エントロピー問題を定式化する。
• 最大エントロピー問題の双対定式化を導入し、凸および多面体幾何学を用いて、近的最適双対解のビット複雑性を分析する。
• 実行可能領域の幾何的性質を活用することで、組合せ的ドメイン固有の議論を避けて、双対解のビット複雑性に多項式上界を確立する。
• 上界のタイトネスを示すために、一致する下界を証明し、結果の最適性を確認する。
• 離散的数え上げ、行列スケーリング、最悪ケースのBrascamp-Lieb定数といった多様な問題を、変動する期待値を持つ最大エントロピー計算のインスタンスとして再定式化する。
• 多項式的ビット複雑性結果を活用して、期待値が内部ではなく境界付近にあっても、最大エントロピー分布を効率的に計算できる汎用アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 期待値ベクトルがドメインの凸包の境界付近に位置する場合でも、最大エントロピー分布を効率的に計算できるか？
• RQ2 最大エントロピー凸計画問題における近的最適双対解のビット複雑性は何か？ そして、多項式的にバウンド可能か？
• RQ3 期待値の内部性を仮定せず、離散的数え上げ、行列スケーリング、Brascamp-Lieb定数といった問題に、最大エントロピーフレームワークを一様に適用可能か？
• RQ4 双対解の多項式的ビット複雑性バウンドはタイトか？ また、このような解に可能な最小ビット複雑性は何か？
• RQ5 組合せ的ドメイン特性に依存せずに、凸および多面体幾何学を用いてビット複雑性バウンドを導出できるか？

主な発見

• 任意の離散ドメインおよび任意の期待値ベクトルに対して、最大エントロピー凸計画問題の近的最適双対解のビット複雑性に多項式上界が確立された。
• 一致する下界を用いて、ビット複雑性バウンドがタイトであることが示され、結果の最適性が確認された。
• フレームワークにより、期待値ベクトルが凸包の境界から多項式的に離れていない場合でも、最大エントロピー分布の効率的計算が可能となった。
• アプローチにより、ランク1の状況における離散的数え上げ、行列スケーリング、最悪ケースのBrascamp-Lieb定数に関する先行結果が統一・一般化された。
• ドメイン構造に基づく組合せ的議論を避けて、凸および多面体解析における幾何的推論に依存する。
• アルゴリズムフレームワークにより、最大エントロピー再定式化を通じて、広範な最適化および数え上げ問題のクラスを解く汎用的ツールが提供された。