[論文レビュー] Variable Elimination in the Fourier Domain

Yexiang Xue, Stefano Ermon+3 more|arXiv (Cornell University)|Aug 17, 2015

Bayesian Modeling and Causal Inference参考文献 26被引用数 4

ひとこと要約

本稿では、高次元確率分布のコン pactなフーリエ表現を用いた確率的推論の新しいアプローチを提案する。多くの確率的グラフィカルモデルがスパースなフーリエ表現を持つこと、および変数消去にこれを適用することで、Minibucket や Belief Propagation や MCMC といった従来のアルゴリズムに比べて顕著な性能向上が達成されることを示している。特に、複雑なモデルにおける独立成分構造の捉え込みにおいて優れた効果を示している。

ABSTRACT

The ability to represent complex high dimensional probability distributions in a compact form is one of the key insights in the field of graphical models. Factored representations are ubiquitous in machine learning and lead to major computational advantages. We explore a different type of compact representation based on discrete Fourier representations, complementing the classical approach based on conditional independencies. We show that a large class of probabilistic graphical models have a compact Fourier representation. This theoretical result opens up an entirely new way of approximating a probability distribution. We demonstrate the significance of this approach by applying it to the variable elimination algorithm. Compared with the traditional bucket representation and other approximate inference algorithms, we obtain significant improvements.

研究の動機と目的

• 条件付き独立性を超えた高次元確率分布のコン pact表現の探求。
• グラフィカルモデルにおける正確な推論の計算的非効率性を、フーリエ表現を活用することで解決すること。
• 古典的因数分解手法と補完する、スパースなフーリエ係数に基づく新しい近似推論手法の開発。
• 合成的および実世界の推論タスクにおいて、フーリエベース変数消去の有効性の実証。

提案手法

• 確率分布を重み付きブール関数の離散フーリエ変換として表現し、関数の次数が低いフーリエ係数を持つ場合にスパース表現が可能になるようにする。
• LinialのCNF/DNF式に関する研究を重み付きケースに一般化し、幅が有界な論理形式がコンパクトなフーリエ表現を持つことを証明する。
• 変数消去アルゴリズムをフーリエドメインで動作させるように変更し、メッセージをフーリエ係数ベクトルとして維持する。
• 消去の過程で、絶対値が最大の係数のみを保持することで、メモリと計算量を制御し、効率的な近似を可能にする。
• 問題をスパース係数空間に変換する基底変換を用い、マージナル化や条件付き確率の計算を計算的に効率的に行う。
• 2つのバージョンでアルゴリズムを実装：1つは全係数集合を用い、もう1つは顕著な係数のみを保持するしきい値処理を施す。

実験結果

リサーチクエスチョン

• RQ1 多くの確率的グラフィカルモデルが、条件付き独立性因数分解ではなく、フーリエ表現によってコンパクトに表現可能であるか。
• RQ2 スパースなフーリエ表現が、Minibucket や MCMC といった従来手法よりも、より正確で効率的な推論を可能にするか。
• RQ3 フーリエベース変数消去が、ベンチマーク推論問題において最先端のソルバーをどの程度上回るか。
• RQ4 高次元分布における独立成分構造が、フーリエ表現によってどの程度正確に捉えられるか。
• RQ5 大規模な推論タスクにおいて、メモリと計算コストを顕著に削減しながらも、精度を維持できるか。

主な発見

• UAI 推論チャレンジベンチマークにおいて、フーリエベース変数消去は Minibucket や Belief Propagation や MCMC を上回った。特にバックドアサイズが大きくなると顕著な優位性を示した。
• 合成的イジングモデル学習タスクにおいて、フーリエ VE のみが独立成分内の画素の周辺確率が約 0.5 であることを正しく予測した。一方、Mean Field は過大評価し、MCMC は不正確であった。
• UAI チャレンジの複数のカテゴリで、フーリエ VE は最優秀賞を受賞した HAK ソルバーと同等の性能を達成した。
• メッセージサイズを 2^20 に制限した条件下でも、フーリエ VE は Minibucket や MCMC よりも高い精度を維持した。
• 最も大きな係数のみを保持する係数のしきい値処理により、精度を保持しつつスケーラブルな推論を実現した。
• 理論的結果として、幅が有界な論理形式（例：CNF/DNF）を持つ重み付きブール関数は、コンパクトなフーリエ表現を持つことが示され、Linial の研究を重み付きケースに一般化した。