[論文レビュー] Maximum Entropy Distributions: Bit Complexity and Stability

Damian Straszak, Nisheeth K. Vishnoi|arXiv (Cornell University)|Nov 6, 2017

Markov Chains and Monte Carlo Methods参考文献 29被引用数 24

ひとこと要約

本稿は、一般の離散的サポート上での最大エントロピー分布におけるε-最適な双対解のビット複雑度に対して、poly(m, log 1/ε) の上限を確立し、これらの分布が計算的に実行可能であり、周辺ベクトルの摂動に対して安定であることを証明する。この結果により、ランク1の場合の最大エントロピー分布およびブラスカム＝リーブ定数の多項式時間計算が可能となり、高次元設定における表現の簡潔さとロバスト性に関する長年の未解決問題が解決される。

ABSTRACT

Maximum entropy distributions with discrete support in $m$ dimensions arise in machine learning, statistics, information theory, and theoretical computer science. While structural and computational properties of max-entropy distributions have been extensively studied, basic questions such as: Do max-entropy distributions over a large support (e.g., $2^m$) with a specified marginal vector have succinct descriptions (polynomial-size in the input description)? and: Are entropy maximizing distributions "stable" under the perturbation of the marginal vector? have resisted a rigorous resolution. Here we show that these questions are related and resolve both of them. Our main result shows a ${ m poly}(m, \log 1/\varepsilon)$ bound on the bit complexity of $\varepsilon$-optimal dual solutions to the maximum entropy convex program -- for very general support sets and with no restriction on the marginal vector. Applications of this result include polynomial time algorithms to compute max-entropy distributions over several new and old polytopes for any marginal vector in a unified manner, a polynomial time algorithm to compute the Brascamp-Lieb constant in the rank-1 case. The proof of this result allows us to show that changing the marginal vector by $δ$ changes the max-entropy distribution in the total variation distance roughly by a factor of ${ m poly}(m, \log 1/δ)\sqrtδ$ -- even when the size of the support set is exponential. Together, our results put max-entropy distributions on a mathematically sound footing -- these distributions are robust and computationally feasible models for data.

研究の動機と目的

• 最大サポート（例：2^m）上での最大エントロピー分布が、m および log(1/ε) に関して多項式的なビット複雑度を持つ要約表現を有するかどうかという未解決問題を解消すること。
• 周辺ベクトルの摂動に対する最大エントロピー分布の安定性を調査すること。
• ランク1の設定における最大エントロピー分布およびブラスカム＝リーブ定数の計算可能性を確立すること。
• 多様な多面体を横断して最大エントロピー分布を計算する統一的な枠組みを提供すること、ビット複雑度の上限を用いて。
• 周辺ベクトルの小さな変化が、対応する最大エントロピー分布の全 variation 距離に与える影響が有界であることを示すこと。

提案手法

• 最大エントロピー凸計画問題のε-最適な双対解のビット複雑度に対して、サポートサイズに依存しない poly(m, log 1/ε) の上界を導出する。
• 双対性を用いて、指数型分布族の形で最大エントロピー分布を表現する：q_α ∝ exp(⟨α, y*⟩)，ここで y* は双対解である。
• 双対近似を効率的に計算可能な基に、近似の部分勾配オракルを用いた浅いカット楕円体法を適用する。
• 対数パーティション関数が双対変数に関して多項式的に有界であるという事実を活用し、効率的な最適化を可能にする。
• 分離オラクルと部分空間同定を用いて、フルディメンジョンでない多面体を処理する。
• 実安定多項式と凹性を活用し、最悪ケースのブラスカム＝リーブ定数の計算を、有限サポート上での最大エントロピー計画問題に還元する。

実験結果

リサーチクエスチョン

• RQ1 大規模な離散的サポート（例：2^m のサイズ）上での最大エントロピー分布は、m および log(1/ε) に関して多項式的なビット複雑度を持つ要約表現を有するか？
• RQ2 周辺ベクトルがδだけ摂動された場合、対応する最大エントロピー分布間の全 variation 距離はどの程度変化するか？
• RQ3 一般の多面体に対して、周辺ベクトルが周辺多面体の境界上または近傍にある場合でも、最大エントロピー分布を多項式時間で計算可能か？
• RQ4 ランク1の場合の最悪ケースのブラスカム＝リーブ定数は、多項式時間で計算可能か？
• RQ5 ビット複雑度と最大エントロピー分布の安定性の間にはどのような関係があるか？

主な発見

• 最大エントロピー計画問題のε-最適な双対解のビット複雑度は、サポート集合のサイズに依存せず、poly(m, log 1/ε) で有界である。
• 周辺ベクトルにδの摂動が加わると、対応する最大エントロピー分布間の全 variation 距離の変化は、poly(m, log 1/δ) × √δ 以下である。
• 任意の周辺ベクトルに対して、最大エントロピー分布は多項式時間で計算可能であり、ベクトルが周辺多面体の境界上にあっても同様である。
• ランク1の場合の最悪ケースのブラスカム＝リーブ定数は、最大エントロピー計画問題への還元により、多項式時間で計算可能である。
• 双対計画問題におけるパーティション関数の対数は、双対変数に関して多項式的に有界であり、これにより楕円体法による効率的最適化が可能である。
• 本フレームワークは、指数的に大きなサポートを有する多面体を含む、さまざまな多面体上での最大エントロピー分布の計算を統一的に扱うことができる。