[论文解读] Exact and approximate inference in graphical models: variable elimination and beyond

Nathalie Peyrard, Cros, Marie-Josée+6 more|arXiv (Cornell University)|Jun 29, 2015

Bayesian Modeling and Causal Inference参考文献 115被引用 6

一句话总结

本文綜述了圖模型中基於變數消除與樹寬的推斷技術，證明低樹寬可實現高效的精確推斷。文章說明了最佳消除順序與近似方法（如迴圈信念傳播）如何在準確性與計算成本之間取得平衡，特別是在蒙特卡洛方法過慢時尤為顯著。

ABSTRACT

Probabilistic graphical models offer a powerful framework to account for the dependence structure between variables, which is represented as a graph. However, the dependence between variables may render inference tasks intractable. In this paper we review techniques exploiting the graph structure for exact inference, borrowed from optimisation and computer science. They are built on the principle of variable elimination whose complexity is dictated in an intricate way by the order in which variables are eliminated. The so-called treewidth of the graph characterises this algorithmic complexity: low-treewidth graphs can be processed efficiently. The first message that we illustrate is therefore the idea that for inference in graphical model, the number of variables is not the limiting factor, and it is worth checking for the treewidth before turning to approximate methods. We show how algorithms providing an upper bound of the treewidth can be exploited to derive a 'good' elimination order enabling to perform exact inference. The second message is that when the treewidth is too large, algorithms for approximate inference linked to the principle of variable elimination, such as loopy belief propagation and variational approaches, can lead to accurate results while being much less time consuming than Monte-Carlo approaches. We illustrate the techniques reviewed in this article on benchmarks of inference problems in genetic linkage analysis and computer vision, as well as on hidden variables restoration in coupled Hidden Markov Models.

研究动机与目标

• 闡明為何樹寬而非變數數量是圖模型中推斷複雜度的關鍵決定因素。
• 展示變數消除如何統一處理邊際化、歸一化與模式評估等精確推斷任務。
• 說明樹寬的上界如何指導高效消除順序的選擇，以實現精確推斷。
• 主張在樹寬過高而無法進行精確計算時，應採用近似推斷方法（如迴圈信念傳播與變分方法）。
• 透過推廣高效且具結構感知的演算法在應用統計中的使用，彌合統計推斷與電腦科學之間的差距。

提出的方法

• 基於半環的統一代數框架，將邊際化、歸一化與模式評估表示為變數消除的特例。
• 利用代數運算元的分配性質（例如，× 對 + 的分配，max 對 + 的分配），在變數消除過程中降低計算複雜度。
• 以樹寬作為演算法複雜度的衡量指標，低樹寬可實現多項式時間的精確推斷。
• 應用計算樹寬上界的演算法，以推導出接近最佳的變數消除順序。
• 將變數消除與近似推斷技術（如迴圈信念傳播與變分近似）結合，適用於高樹寬模型。
• 整合全域勢函數（例如，透過最小費用流）與共軛指數族，以在特定連續或結構化情況下實現精確的訊息傳遞。

实验结果

研究问题

• RQ1 樹寬如何決定圖模型中精確推斷的可計算性？
• RQ2 變數消除能否系統性地應用於統一處理不同任務（邊際化、歸一化、模式評估）的精確推斷？
• RQ3 樹寬的上界在多大程度上可指導高效消除順序的構建，以實現精確推斷？
• RQ4 在高樹寬模型中，訊息傳播或變分方法的近似推斷何時優於蒙特卡洛採樣？
• RQ5 如何將精確推斷技術與隨機方法結合，以提升採樣效率與準確性？

主要发现

• 樹寬是變數消除中計算複雜度的主要決定因素，而非變數數量。
• 變數消除可透過統一的半環框架，系統性地應用於所有核心推斷任務——邊際化、歸一化與模式評估。
• 計算樹寬上界的演算法可用於推導出使低樹寬圖模型實現精確推斷的消除順序。
• 對於高樹寬模型，迴圈信念傳播與變分近似可提供準確結果，且計算成本遠低於蒙特卡洛方法。
• 將精確優化（例如，最短路徑、最小費用流）與訊息傳遞結合，即使在複雜全域勢函數下也能實現高效推斷。
• 近期結合蒙特卡洛採樣與變分或精確推斷的混合方法（如離散粒子變分推斷）在平衡準確性與速度方面展現出潛力。