[論文レビュー] Automorphism Groups of Graphical Models and Lifted Variational Inference

Hung Bui, Tuyen N. Huynh+1 more|arXiv (Cornell University)|Sep 26, 2013

Bayesian Modeling and Causal Inference参考文献 19被引用数 48

ひとこと要約

本稿では、確率的グラフィカルモデルにおける対称性を形式的に取り扱うための自己同型群を導入し、同一の周辺確率を持つ変数および特徴量を軌道にグループ化することで、被覆的変分推論を可能にする。サイクル制約を用いた、最初の被覆的変分推論アルゴリズムを提案し、指数型分布族におけるMAP推論の計算複雑性を顕著に低減する。

ABSTRACT

Using the theory of group action, we first introduce the concept of the automorphism group of an exponential family or a graphical model, thus formalizing the general notion of symmetry of a probabilistic model. This automorphism group provides a precise mathematical framework for lifted inference in the general exponential family. Its group action partitions the set of random variables and feature functions into equivalent classes (called orbits) having identical marginals and expectations. Then the inference problem is effectively reduced to that of computing marginals or expectations for each class, thus avoiding the need to deal with each individual variable or feature. We demonstrate the usefulness of this general framework in lifting two classes of variational approximation for maximum a posteriori (MAP) inference: local linear programming (LP) relaxation and local LP relaxation with cycle constraints; the latter yields the first lifted variational inference algorithm that operates on a bound tighter than the local constraints.

研究の動機と目的

• 指数型分布族の自己同型群を用いた群論的手法による確率的モデルにおける対称性の形式的定式化。
• 軌道に基づく変数および特徴量のグループ化を通じて、指数型分布族におけるMAP推論の複雑性を低減すること。
• 個々の変数ではなく集約クラス上で動作する被覆的変分推論手法の開発。
• 局所線形計画法緩和をサイクル制約を用いて拡張し、被覆的推論における境界のタイトネスを向上させること。
• 多様なグラフィカルモデルに適用可能な、一般化された数学的枠組みとしての被覆的推論の提供。

提案手法

• グラフィカルモデルの自己同型群を、モデルの構造とパラメータを保存する置換の集合として定義する。
• 群作用を用いて確率的変数および特徴関数を軌道に分割し、同じ軌道に属する要素はすべて同一の周辺確率と期待値を持つ。
• 個々の変数ではなく軌道上で変分推論を定式化することで、問題のサイズを桁違いに削減する。
• 各軌道に対して局所線形計画法緩和を適用し、局所制約のみに比べて境界をタイトにするためにサイクル制約を導入する。
• 軌道構造を活用して、対称性に配慮した最適化により、近似周辺確率および期待値を効率的に計算する。
• 被覆的フレームワークを、指数型分布族における最大事後確率推定のための変分推論に統合する。

実験結果

リサーチクエスチョン

• RQ1 グラフ的モデルにおける対称性は、群論を用いてどのように形式的に捉えうるか？
• RQ2 自己同型群を用いることで、指数型分布族における変分推論の複雑性を低減できるか？
• RQ3 被覆的変分推論にサイクル制約を組み込むと、どのような影響を与えるか？
• RQ4 標準的な局所緩和法と比較して、被覆的推論はよりタイトな境界を達成できるか？
• RQ5 軌道に基づく集約は、MAP推論におけるスケーラビリティをどのように向上させるか？

主な発見

• 自己同型群は、確率的モデルにおける対称的変数および特徴量を特定する明確な数学的枠組みを提供する。
• 同じ軌道に属する変数および特徴量は、同一の周辺確率と期待値を持つため、推論における集約が可能になる。
• 被覆的変分推論は、変数を軌道にグループ化することで計算すべき変数数を削減し、スケーラビリティを顕著に向上させる。
• 本手法はサイクル制約を組み込むことで、局所制約のみに比べてよりタイトな変分境界を達成し、そのような被覆的アルゴリズムとしては初めてのタイトネス向上を実現した。
• 本フレームワークにより、個々の変数ではなく軌道レベルの表現上で推論を行うことで、効率的なMAP推論が可能になる。
• 実験的結果は、対称性の活用が推論品質を損なわず、顕著な計算コストの削減を実現することを示している。