[论文解读] Generalized Belief Propagation on Tree Robust Structured Region Graphs

Andrew E. Gelfand, Max Welling|UvA-DARE (University of Amsterdam)|Oct 16, 2012

Error Correcting Code Techniques参考文献 35被引用 4

一句话总结

本文提出树鲁棒结构区域图（SRGs）用于广义信念传播（GBP），通过将外区域选择与基本环基联系起来，确保在马尔可夫网络的任意生成树上实现精确推理。它识别出两类树鲁棒环基——平面型与“星型”——并证明利用树鲁棒性可提升GBP的精度与收敛性。

ABSTRACT

This paper provides some new guidance in the construction of region graphs for Generalized Belief Propagation (GBP). We connect the problem of choosing the outer regions of a LoopStructured Region Graph (SRG) to that of finding a fundamental cycle basis of the corresponding Markov network. We also define a new class of tree-robust Loop-SRG for which GBP on any induced (spanning) tree of the Markov network, obtained by setting to zero the off-tree interactions, is exact. This class of SRG is then mapped to an equivalent class of tree-robust cycle bases on the Markov network. We show that a treerobust cycle basis can be identified by proving that for every subset of cycles, the graph obtained from the edges that participate in a single cycle only, is multiply connected. Using this we identify two classes of tree-robust cycle bases: planar cycle bases and "star" cycle bases. In experiments we show that tree-robustness can be successfully exploited as a design principle to improve the accuracy and convergence of GBP.

研究动机与目标

• 为图模型中广义信念传播（GBP）的区域图构建挑战提供解决方案。
• 通过设计对树外交互具有鲁棒性的区域图，确保在马尔可夫网络的任意生成树上实现精确推理。
• 形式化环-SRG中外区域选择与底层马尔可夫网络基本环基之间的联系。
• 识别并表征能保证树鲁棒性的新环基类别，以提升GBP性能。
• 提供一种区域图构建的设计原则，以在实践中提升GBP的收敛性与精度。

提出的方法

• 形式化环-SRG中外区域与对应马尔可夫网络基本环基之间的关系。
• 引入树鲁棒环-SRG的概念，即当树外交互设为零时，GBP仍保持精确。
• 将树鲁棒环基定义为：其由恰好属于一个环的边构成的子图是多重连通的。
• 识别出两类树鲁棒环基：平面环基与“星型”环基，二者均基于图的结构特性推导得出。
• 利用图论条件，通过分析边在环中的参与情况，验证树鲁棒性。
• 将树鲁棒SRG的构建映射为马尔可夫网络中有效环基的识别，实现系统化设计。

实验结果

研究问题

• RQ1 如何系统化地构建区域图，以确保在马尔可夫网络的任意生成树上实现GBP的精确推理？
• RQ2 环基的何种结构特性可保证在移除树外交互后GBP仍保持精确？
• RQ3 哪些类别的环基本质上具有树鲁棒性，且可否通过图论标准加以识别？
• RQ4 能否将树鲁棒性作为设计原则，以在实践中提升GBP的收敛性与精度？
• RQ5 环-SRG中外区域选择与底层马尔可夫网络基本环基之间存在何种关系？

主要发现

• 树鲁棒环-SRG可确保在通过将树外交互置零所诱导的任意生成树上，GBP推理保持精确。
• 当且仅当对任意环的子集，由恰好属于该子集中某一环的边构成的子图是多重连通时，该环基为树鲁棒。
• 识别出两类树鲁棒环基：平面环基与“星型”环基，二者均满足树鲁棒性条件。
• 实验表明，使用树鲁棒区域图可使GBP推理实现更快收敛与更高精度，优于非鲁棒构造。
• 理论框架使区域图的系统化设计成为可能，确保在所有生成树上保持精确性，为启发式区域选择提供有原则的替代方案。