[論文レビュー] Lifted Tree-Reweighted Variational Inference

Hung Bui, Tuyen N. Huynh+1 more|arXiv (Cornell University)|Jun 17, 2014

Bayesian Modeling and Causal Inference参考文献 17被引用数 3

ひとこと要約

本稿では、一階確率的モデルにおける対称性を活用して、対数パーティション関数を効率的に近似するための、凸最適化フレームワークである、リフトドツリー再重み付け変分推論（lifted tree-reweighted variational inference）を提案する。自動同型群に不変なエッジ出現確率を用いてTRW目的関数をリフトし、交換可能なクラスタ制約を組み込むことで、パーティション関数に対するより緊密な上界が得られ、リフトドMAPクエリを用いたFrank-Wolfe最適化により収束性とスケーラビリティを実現する。

ABSTRACT

We analyze variational inference for highly symmetric graphical models such as those arising from first-order probabilistic models. We first show that for these graphical models, the tree-reweighted variational objective lends itself to a compact lifted formulation which can be solved much more efficiently than the standard TRW formulation for the ground graphical model. Compared to earlier work on lifted belief propagation, our formulation leads to a convex optimization problem for lifted marginal inference and provides an upper bound on the partition function. We provide two approaches for improving the lifted TRW upper bound. The first is a method for efficiently computing maximum spanning trees in highly symmetric graphs, which can be used to optimize the TRW edge appearance probabilities. The second is a method for tightening the relaxation of the marginal polytope using lifted cycle inequalities and novel exchangeable cluster consistency constraints.

研究の動機と目的

• 対称的グラフィカルモデルにおける凸的変分推論フレームワークを構築し、収束保証と対数パーティション関数の上界を提供すること。
• 信念伝播を超えて、対称性を意識した形でツリー再重み付け変分推論を形式化すること。
• リフトドサイクル不等式と新しい交換可能なポリトープ制約を用いて、変分上界の品質を向上させること。
• 各反復でリフトドMAP問題を解くFrank-Wolfe法を用いて、効率的な最適化を可能とすること。
• 凸性のおかげで、非凸的リフトドBP手法とは異なり、パrameter学習において信頼性がありグローバルな最適化が可能であることを示すこと。

提案手法

• モデルの自動同型群に関して不変なエッジ出現確率ρに制限を加えることで、ツリー再重み付け（TRW）変分目的関数をリフトし、コンactかつ対称的な定式化を達成する。
• 各反復でリフトド最大事後確率（MAP）推論問題を解くFrank-Wolfeアルゴリズムを用い、グローバル最適解への収束を保証する。
• 確率変数の交換可能性を活用して、リフトドマージナルポリトープの緩和をタイトにする交換可能なポリトープ制約を導入する。
• TRWエッジ出現ベクトルρを、リフトド最大スパニングツリー法により最適化することで、対数パーティション関数の上界の品質を向上させる。
• サイクル不等式とリフトド一貫性制約を用いて、局所的制約を超えて変分緩和をさらにタイトにする。
• これらの要素を統合した凸最適化フレームワークを構築し、上界性を維持するとともに、スケーラブルな推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一階確率的モデルにおける対称性を活用しながらも、凸性と上界性を保ちつつ、ツリー再重み付け変分目的関数をリフトすることは可能か？
• RQ2 エッジ出現確率の最適化によって、リフトド設定におけるTRW上界の品質はどのように向上させられるか？
• RQ3 計算効率を損なわずに、交換可能な制約を用いてリフトドマージナルポリトープをどの程度タイトにできるか？
• RQ4 リフトドTRW推論は、従来のリフトド信念伝播手法とは異なり、収束性とグローバル最適性を達成できるか？
• RQ5 等分分割によるリフトを用いる場合と、凸性と有効な上界性を維持する場合のトレードオフは何か？

主な発見

• リフトドTRW定式化は、対数パーティション関数の凸的上界を提供し、信頼性がありグローバル最適な推論と学習を可能にする。
• 交換可能なポリトープ制約の使用により、リフトドマージナルポリトープの緩和が著しくタイトになり、場合によっては正確な特徴付けが達成される。
• リフトドTRWによる対数尤度推定値は、リフトドLBPよりも範囲が小さく、より高いパrameter値まで延びており、より頑健で正確な上界を示している。
• リフトドMAPクエリを用いたFrank-Wolfeアルゴリズムはグローバル最適解に収束するが、リフトドLBPを用いた勾配ベース手法は局所最適解に陥る。
• 凸性のおかげで、初期化に依存せずグローバル解に収束するため、パrameter学習においてリフトドLBPを上回る性能を発揮する。
• 等分分割上の対称化スパニングツリー多面体が空集合である例が提示され、リフトのコンact性と凸性の間には根本的なトレードオフが存在することが明らかになった。