[论文解读] Bayesian Structured Prediction Using Gaussian Processes

Sébastien Bratières, Novi Quadrianto+1 more|arXiv (Cornell University)|Jul 15, 2013

Gaussian Processes and Bayesian Inference参考文献 18被引用 8

一句话总结

该论文提出了GPstruct，一种结合高斯过程与条件随机场的贝叶斯结构化预测模型，实现核化、非参数化且概率化的推理。通过使用马尔可夫链蒙特卡洛方法进行后验推断，GPstruct在序列标注和视频手势分割任务中达到最先进性能，优于CRF和SVMstruct的关键基准测试，同时实现不确定性感知预测，并通过完全贝叶斯框架实现无需交叉验证的自动模型选择。

ABSTRACT

We introduce a conceptually novel structured prediction model, GPstruct, which is kernelized, non-parametric and Bayesian, by design. We motivate the model with respect to existing approaches, among others, conditional random fields (CRFs), maximum margin Markov networks (M3N), and structured support vector machines (SVMstruct), which embody only a subset of its properties. We present an inference procedure based on Markov Chain Monte Carlo. The framework can be instantiated for a wide range of structured objects such as linear chains, trees, grids, and other general graphs. As a proof of concept, the model is benchmarked on several natural language processing tasks and a video gesture segmentation task involving a linear chain structure. We show prediction accuracies for GPstruct which are comparable to or exceeding those of CRFs and SVMstruct.

研究动机与目标

• 开发一种整合核方法、贝叶斯推断与概率建模优势的结构化预测模型。
• 通过将核化特征空间与模型参数的完整后验推断相结合，克服现有模型（如CRF、SVMstruct和M3N）的局限性。
• 通过完全贝叶斯框架实现不确定性量化与无需交叉验证的自动模型选择。
• 提供一种通用的、非参数化的结构化预测方法，适用于链式、树形和网格等多种输出结构。
• 在真实世界自然语言处理与视频手势分割任务中，实证证明其性能优于CRF与SVMstruct。

提出的方法

• GPstruct使用潜变量（LVs）建模输入-输出关系，其中条件分布按团块（clique-wise）定义，给定潜变量的标签分布。
• 模型在潜变量上施加高斯过程先验，实现在隐式、可能无限维空间中的非参数化、核化特征学习。
• 采用马尔可夫链蒙特卡洛（MCMC）推断过程，从潜变量与超参数的联合后验中进行采样，实现完整的贝叶斯不确定性量化。
• 通过潜变量后验样本的边际化计算预测分布，可选地通过稀释采样与MAP近似降低计算成本。
• 将超参数（如核函数长度尺度）赋予伽马先验，并通过MCMC联合推断，避免交叉验证。
• 该框架支持多种核函数（如平方指数核、线性核），实验中实例化为线性链结构。

实验结果

研究问题

• RQ1 能否构建一种结构化预测模型，同时结合SVMstruct的核化特征学习与贝叶斯CRF的完整后验推断？
• RQ2 基于高斯过程的结构化模型是否在泛化能力与不确定性量化方面优于判别模型（如CRF与SVMstruct）？
• RQ3 在GP-结构化模型中，基于MCMC的推断是否可避免模型选择中的交叉验证需求？
• RQ4 GPstruct在多样化结构化预测任务中的预测性能与CRF及SVMstruct相比如何？
• RQ5 GPstruct中潜变量采样频率与预测准确率之间的计算权衡如何？

主要发现

• 在20个视频手势分割会话的平均表现中，使用平方指数核的GPstruct达到50.42%的错误率，优于CRF的52.12%，误差降低超过1.5个百分点。
• 在文本处理任务中，GPstruct的性能与CRF和SVMstruct相当或更优，展现出在序列数据上的强大泛化能力。
• 模型的预测性能在约100,000次MCMC迭代后趋于稳定，表明收敛需要较长的采样链。
• 将预测潜变量（f*）的采样频率降低至每1,000次采样一次，对错误率影响极小，表明高频采样并非必要。
• 使用f*的MAP估计代替完整采样可获得相近结果，表明预测后验分布呈尖峰状，其众数可良好近似后验分布。
• 通过低似然模拟拒绝条件不佳的提议，模型对病态核矩阵表现出鲁棒性，维持了数值稳定性。