[論文レビュー] Entropy, Optimization and Counting

Mohit Singh, Nisheeth K. Vishnoi|arXiv (Cornell University)|Apr 30, 2013

Bayesian Modeling and Causal Inference参考文献 30被引用数 4

ひとこと要約

この論文は、離散的組合せ的集合のサイズを数えることと、その最大エントロピー分布を計算することの間の同等性を確立し、一方の問題に対する効率的なアルゴリズムが他方の問題に対しても効率的なアルゴリズムに変換可能であることを示している。弱い条件下では、最大エントロピー分布は多項式サイズの表現を許容し、分離オракルと近似最適化を活用する多項式時間の楕円体ベースのアルゴリズムが、効率的な数え上げとエントロピー計算を実現する。

ABSTRACT

In this paper we study the problem of computing max-entropy distributions over a discrete set of objects subject to observed marginals. Interest in such distributions arises due to their applicability in areas such as statistical physics, economics, biology, information theory, machine learning, combinatorics and, more recently, approximation algorithms. A key difficulty in computing max-entropy distributions has been to show that they have polynomially-sized descriptions. We show that such descriptions exist under general conditions. Subsequently, we show how algorithms for (approximately) counting the underlying discrete set can be translated into efficient algorithms to (approximately) compute max-entropy distributions. In the reverse direction, we show how access to algorithms that compute max-entropy distributions can be used to count, which establishes an equivalence between counting and computing max-entropy distributions.

研究の動機と目的

• 集合が暗黙的に与えられた指数的サイズの離散的集合上での最大エントロピー分布の表現と計算という根本的な計算課題を解決すること。
• 一般条件下で最大エントロピー分布が、明示的表現における指数的増大を克服する、短い多項式サイズの記述を許容することを示すこと。
• 近似された組合せ的集合の数え上げと、近似された最大エントロピー分布の計算との間のタイトな計算的同等性を確立すること。
• 楕円体法と分離オラクルを用いて、近似最大エントロピーオラクルへのアクセスを活用し、組合せ的集合のサイズを推定する多項式時間のアルゴリズムを開発すること。
• マージナル多面体上での効率的最適化が効率的数え上げを可能にし、逆にそれも成り立つことを、マージナルにやや内側にあるという弱い条件下で示すこと。

提案手法

• 変数の数を |M| から要素数 m に削減するため、双対性を用いてマージナル多面体上での凸計画問題として最大エントロピー問題を定式化する。
• マージナル多面体 P_η(M) の η-内部に対する分離オラクルを用いた楕円体アルゴリズムを用い、可解領域がフル次元でない場合でも収束を保証する。
• 最大エントロピー計画問題の双対解が特定の下限を満たすかを検証することで、与えられた θ が P(M) の η-内部にあるかを確認する分離オラクルを構築する。
• Jerrum-Valiant-Vazirani フレームワークを用いて、サンプリングと数え上げの間の同等性を活用し、一方を他方に還元する。
• 集合 M のサイズの対数に関する二分探索手順を設計し、近似最大エントロピーオラクルを用いて log|Z| の推定値をテストし、楕円体法を用いて推定値を改善する。
• 楕円体アルゴリズムで用いられる分離超平面が、g(θ) ≥ ζ + ε/16 を満たす θ を切断しないことを示すことにより、正しさを証明する。

実験結果

リサーチクエスチョン

• RQ1 暗黙的かつ指数的サイズの離散的集合上での最大エントロピー分布は、多項式サイズのビット数で表現可能か？
• RQ2 組合せ的集合の近似数え上げと最大エントロピー分布の近似計算との間に計算的同等性が存在するか？
• RQ3 集合 M が暗黙的に与えられた場合、最大エントロピー計算に於いて楕円体法が効果的に適用可能か？
• RQ4 最大エントロピー計画問題の双対解が、マージナル多面体の内部に対する有効な分離オラクルを導くために必要な条件は何か？
• RQ5 近似最大エントロピーオラクルへのアクセスをどのように活用すれば、集合 M のサイズの (1±ε)-近似を得られるか？

主な発見

• マージナルにやや内側にあるという弱い条件下では、マージナル多面体上での双対変数 γ_e を用いて、最大エントロピー分布が多項式サイズの記述で表現可能である。
• 本論文は、|M| の近似数え上げが多項式時間で可能であるための必要十分条件として、近似最大エントロピー分布の計算が多項式時間で可能であることを示している。
• 近似最大エントロピーオラクルを用い、楕円体法に基づくアルゴリズムが、|M| の (1±ε)-近似を多項式時間で計算可能であることを提示している。このアルゴリズムの実行時間は m と 1/ε に対して多項式的である。
• アルゴリズムは、真の解の周囲を次第に縮小する楕円体の系列を維持することで、最終的な推定値 Z^∘ が (1−ε)|M| ≤ Z^∘ ≤ (1+ε)|M| を満たすことを保証し、高い確率で成立する。
• アルゴリズムの正しさは、g(θ) = log Z_λ が大きい点を切断しない分離オラクルに依存しており、log|M| の良い推定値への収束を保証する。
• 真のマージナルベクトル θ^• が P(M) の η-内部にあるという仮定が成り立つと、楕円体アルゴリズムが多項式時間で収束することが保証される。