[論文レビュー] Taming the Curse of Dimensionality: Discrete Integration by Hashing and Optimization

Stefano Ermon, Carla P. Gomes+2 more|arXiv (Cornell University)|Feb 27, 2013

Data Management and Algorithms参考文献 32被引用数 71

ひとこと要約

本稿では、ハッシュ化と最適化を用いたスケーラブルでいつでも利用可能なアルゴリズム、WISH を提案する。このアルゴリズムは、グラフィカルモデルにおける分配関数などの高次元離散積分を、ランダムなパリティ制約下での組合せ最適化クエリの多項数に還元することで近似する。#P困難な数え上げ問題を多項式数のNP困難な最適化クエリに変換し、最先端のソルバーを用いて高確率で定数倍の近似を達成する。これにより、従来の変分法やサンプリング手法では到達できないスケーラブルで並列的かついつでも利用可能な推論が可能になる。

ABSTRACT

Integration is affected by the curse of dimensionality and quickly becomes intractable as the dimensionality of the problem grows. We propose a randomized algorithm that, with high probability, gives a constant-factor approximation of a general discrete integral defined over an exponentially large set. This algorithm relies on solving only a small number of instances of a discrete combinatorial optimization problem subject to randomly generated parity constraints used as a hash function. As an application, we demonstrate that with a small number of MAP queries we can efficiently approximate the partition function of discrete graphical models, which can in turn be used, for instance, for marginal computation or model selection.

研究の動機と目的

• 指数的に大きな集合上の離散積分を計算する際の次元の呪いに対処すること。
• グラフィカルモデルの分配関数などの一般化された重み付き和を、高確率で定数倍の近似で得ること。
• #P困難な数え上げ問題を、ランダムなパリティ制約を課した少数のNP困難な最適化クエリに還元すること。
• 従来の手法（例：平均場法や信念伝播）が失敗する確率的モデルにおけるスケーラブルで並列な推論を可能にすること。
• 正確な分配関数計算が不可能な大規模グラフィカルモデルにおいて、効率的なMAPクエリベースの推定を用いたモデル選択と尤度推定を可能にすること。

提案手法

• ランダムなハッシュ化（パリティ制約を用いて）により、解空間をバランスの取れた部分集合に分割する。
• 同じ空間上でランダムな制約を課した最大事後確率（MAP）クエリの多項式数に、#P完全な数え上げ問題を還元する。
• 各MAPクエリは、現代の組合せ最適化ソルバー（例：SATまたはMIPソルバー）を用いて解き、探索空間を効率的に削減し、問題の構造を活用する。
• 集中不等式を活用して、多項式数のクエリで高確率での正しさを保証する。
• いつでも利用可能なマス・スケーラブルで大規模並列なアルゴリズムとして設計されており、早期停止時でも信頼性の高い下界が得られる。
• HazanとJaakkolaらの先行研究を一般化し、緩い境界ではなく、きつい定数倍の近似保証を提供する。

実験結果

リサーチクエスチョン

• RQ1 少数の最適化クエリのみを用いて、高次元離散積分を定数倍の精度で近似できるか？
• RQ2 パリティ制約によるランダムハッシュ化が、大規模な解空間を効果的に分割し、スケーラブルな数え上げを可能にするか？
• RQ3 最先端の組合せ最適化ソルバーを用いて、理論的保証のもとで#P困難な数え上げ問題を実用的に解けるか？
• RQ4 WISHアルゴリズムは、平均場法や信念伝播といった変分法と比べて、精度とスケーラビリティの点で優れているか？
• RQ5 正確な分配関数計算が不可能な大規模グラフィカルモデルにおいて、本手法がモデル選択に効果的に使用できるか？

主な発見

• Sudokuパズルに対して、WISHは真のカウントに非常に近い約1.634 × 10^21個の解の下界推定値を得たが、制約数が増えるとタイムアウトが発生した。
• Sudokuのケースでは、52個のパリティ制約では60％の確率で解を発見できたが、53個に達すると50％を下回り、理論的期待と整合する鋭い閾値を示した。
• MNIST画像に対する制限付きボルツマンマシンでは、Gibbsステップ数k=1, 10, 15のとき、対数尤度スコアがそれぞれ-41.70、-40.35、-40.01と推定され、視覚的品質や期待されるモデル性能と一貫した順序を示した。
• 平均場法では著しく悪いスコア（-35.47〜-36.84）が得られ、視覚的品質とは逆順にモデルをランク付けしており、WISHの優れた精度が浮き彫りになった。
• アルゴリズムは高確率で定数倍の近似を達成し、ヒューリスティックなサンプリングや変分法を上回る精度とスケーラビリティを示した。
• WISHはイジングモデルやSudokuのような組合せ問題において、従来手法が完全に失敗するか意味のない推定値を出す状況でも実用的な有効性を示した。