[论文解读] Rapidly Mixing Gibbs Sampling for a Class of Factor Graphs Using Hierarchy Width

Christopher De, Ce Zhang+2 more|PubMed|Oct 2, 2015

Complex Network Analysis Techniques参考文献 28被引用 16

一句话总结

本文引入了层次宽度（hierarchy width）这一新的图属性，该属性可保证在权重有界的因子图上吉布斯采样具有多项式混合时间。研究证明，关系与概率建模中常见的层次化因子图模板，其层次宽度在任意数据下均保持有界，从而实现可证明的快速混合与高精度推理，如在自然语言处理任务中所展示的，其性能优于人工标注者。

ABSTRACT

Gibbs sampling on factor graphs is a widely used inference technique, which often produces good empirical results. Theoretical guarantees for its performance are weak: even for tree structured graphs, the mixing time of Gibbs may be exponential in the number of variables. To help understand the behavior of Gibbs sampling, we introduce a new (hyper)graph property, called <i>hierarchy width</i>. We show that under suitable conditions on the weights, bounded hierarchy width ensures polynomial mixing time. Our study of hierarchy width is in part motivated by a class of factor graph templates, <i>hierarchical templates</i>, which have bounded hierarchy width-regardless of the data used to instantiate them. We demonstrate a rich application from natural language processing in which Gibbs sampling provably mixes rapidly and achieves accuracy that exceeds human volunteers.

研究动机与目标

• 解决尽管吉布斯采样在实际系统中表现强劲，但缺乏理论保证的问题。
• 识别因子图的结构属性，以确保吉布斯采样的快速混合，超越现有的宽度参数（如超树宽度）。
• 提出一种新的理论框架——层次宽度，以捕捉模板化、层次化模型中吉布斯采样的可 tractability（可处理性）。
• 证明，对于层次化因子图模板，其层次宽度在数据实例化下保持有界，从而实现多项式时间混合。
• 通过真实世界自然语言处理应用验证理论，其中吉布斯采样性能优于人类标注者，并在多项式时间内完成混合。

提出的方法

• 将层次宽度定义为一种新的超图宽度参数，通过因子图的层次分解实现。
• 证明：当层次宽度有界且因子权重有界时，吉布斯采样的混合时间呈多项式。
• 将层次化因子图模板定义为一类模型，其层次宽度在任意数据实例化下均保持有界。
• 利用因子图的线图的树深度来表征层次宽度，从而实现对宽度参数的高效计算。
• 通过基于共享主变量赋值组织节点的方式，从模板构建实例化因子图的层次分解。
• 利用已知的树深度计算算法，高效验证层次宽度的上界。

实验结果

研究问题

• RQ1 我们能否识别出因子图的一种结构属性，以保证吉布斯采样的快速混合，超越超树宽度？
• RQ2 常见因子图模板的层次结构是否本质上保证了吉布斯采样的高效性？
• RQ3 层次宽度能否被高效计算？它是否提供了多项式混合时间的可处理条件？
• RQ4 在使用模板化模型进行吉布斯采样的真实世界应用中，该新框架是否能提供理论保证？
• RQ5 我们能否构建一个模型，使得吉布斯采样可证明在多项式时间内混合，并且性能优于人类专家？

主要发现

• 层次宽度强于超树宽度，当因子权重有界时，可确保吉布斯采样的多项式混合时间。
• 对于层次化因子图模板，其层次宽度在数据集无关下保持有界，从而保证所有实例化下均具有多项式混合时间。
• 因子图的线图的树深度等于其层次宽度，从而可高效计算宽度参数。
• 实证验证表明，在复杂文本抽取任务中，基于层次模板的吉布斯采样系统性能优于人类志愿者。
• 理论分析确认，混合时间在变量数量上为多项式，其界依赖于层次宽度和最大因子权重。
• 该框架为可 tractable 的马尔可夫逻辑和概率数据库中的“安全计划”提供了采样类比，将理论保证扩展至实际推理系统。