[論文レビュー] Amortized Bethe Free Energy Minimization for Learning MRFs

Sam Wiseman, Yoon Kim|arXiv (Cornell University)|Jun 1, 2019

Machine Learning and Algorithms被引用数 7

ひとこと要約

本稿では、サンプリングを用いず、勾配の正確な計算が可能なアモーティゼド・ベーゼ自由エネルギー最小化を用いた、マークフ・ランダムフィールド（MRF）を学習するための新規手法を提案する。ベーゼ近似から導出されたサドルポイント目的関数を活用することで、ループ付きベリエーションプロパゲーション（loopy belief propagation）や他の最近の手法と比較して、より高速な推論とより優れたテスト尤度を達成する。

ABSTRACT

We propose to learn deep undirected graphical models (i.e., MRFs) with a non-ELBO objective for which we can calculate exact gradients. In particular, we optimize a saddle-point objective deriving from the Bethe free energy approximation to the partition function. Unlike much recent work in approximate inference, the derived objective requires no sampling, and can be efficiently computed even for very expressive MRFs. We furthermore amortize this optimization with trained inference networks. Experimentally, we find that the proposed approach compares favorably with loopy belief propagation, but is faster, and it allows for attaining better held out log likelihood than other recent approximate inference schemes.

研究の動機と目的

• スケーラブルで微分可能な推論を備えた深層の非定向グラフィカルモデルの訓練に取り組む。
• MRF学習のための正確な勾配計算を可能にするELBOでない目的関数の開発。
• ベーゼ自由エネルギーを用いたパーティション関数近似の効率的最適化。
• 従来の近似推論手法と比較して、一般化性能およびテスト尤度性能の向上。
• アモーティゼド推論ネットワークとベーゼ自由エネルギー最小化を組み合わせ、スケーラブルなMRF学習を実現。

提案手法

• パーティション関数のベーゼ自由エネルギー近似から導出されたサドルポイント目的関数を最適化する。
• サンプリングを回避するため、ベーゼ自由エネルギーおよびその勾配を正確な解析的計算で行う。
• アモーティゼド推論ネットワークを訓練して平均場パラメータを近似し、1回の推論コストを削減する。
• ベーゼ近似の構造を活用して、エンドツーエンドの学習に適した正確な勾配を計算する。
• 勾配降下法を用いてベーゼ自由エネルギーを最適化することで、表現力のあるMRFのスケーラブルな学習を可能にする。
• サンプリングが不要なため、複雑で高次元のMRFに対しても効率的な学習が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ELBOでない目的関数を用いて、正確な勾配計算が可能なMRFの訓練は可能か？
• RQ2 深層MRFにおいて、サンプリングを用いずベーゼ自由エネルギー最小化を効率的に計算できるか？
• RQ3 ベーゼ自由エネルギーとアモーティゼド推論を組み合わせることで、従来の近似推論手法よりも優れた一般化性能が得られるか？
• RQ4 本手法は、ループ付きベリエーションプロパゲーションと比較して、速度および尤度性能で優れているか？
• RQ5 表現力のあるMRFに対しても、学習効率を維持したままスケーリング可能か？

主な発見

• 本手法は、ループ付きベリエーションプロパゲーションと比較して、より高速な推論を実現しながら、性能を維持または向上させる。
• 他の最近の近似推論手法と比較して、より優れたホールドアウト尤度を達成する。
• サンプリングを一切行わず正確な勾配計算が可能であるため、学習の安定性と効率性が向上する。
• アモーティゼド推論ネットワークは、学習およびテスト時の推論コストを効果的に削減する。
• ベーゼ自由エネルギー計算の解析的性質のおかげで、表現力のあるMRFに対してもスケーリングが良好に機能する。
• ベーゼ近似から導出されたサドルポイント目的関数は、サンプリングベースの代替手法と比較して、より正確なパーティション関数推定を実現する。