[论文解读] Gaussian Conditional Random Fields for Classification

Andrija Petrović, Mladen Nikolić+2 more|arXiv (Cornell University)|Jan 31, 2019

Gaussian Processes and Bayesian Inference被引用 2

一句话总结

本文提出高斯条件随机场二值分类模型（GCRFBC），一种结构化分类模型，通过连续隐变量建模离散输出之间的依赖关系，实现可 tractable 推断。通过利用隐变量 GCRF 结构，该方法在无结构模型基础上提升了预测性能，其中两种变体——GCRFBCb（经验贝叶斯结合变分近似）与 GCRFBCnb（最大后验估计）——在输出方差较高时表现出更优的 AUC 与对数似然值。

ABSTRACT

Gaussian conditional random fields (GCRF) are a well-known used structured model for continuous outputs that uses multiple unstructured predictors to form its features and at the same time exploits dependence structure among outputs, which is provided by a similarity measure. In this paper, a Gaussian conditional random fields model for structured binary classification (GCRFBC) is proposed. The model is applicable to classification problems with undirected graphs, intractable for standard classification CRFs. The model representation of GCRFBC is extended by latent variables which yield some appealing properties. Thanks to the GCRF latent structure, the model becomes tractable, efficient and open to improvements previously applied to GCRF regression models. In addition, the model allows for reduction of noise, that might appear if structures were defined directly between discrete outputs. Additionally, two different forms of the algorithm are presented: GCRFBCb (GCRGBC - Bayesian) and GCRFBCnb (GCRFBC - non Bayesian). The extended method of local variational approximation of sigmoid function is used for solving empirical Bayes in Bayesian GCRFBCb variant, whereas MAP value of latent variables is the basis for learning and inference in the GCRFBCnb variant. The inference in GCRFBCb is solved by Newton-Cotes formulas for one-dimensional integration. Both models are evaluated on synthetic data and real-world data. It was shown that both models achieve better prediction performance than unstructured predictors. Furthermore, computational and memory complexity is evaluated. Advantages and disadvantages of the proposed GCRFBCb and GCRFBCnb are discussed in detail.

研究动机与目标

• 解决在无向图结构下标准 CRF 在结构化二值分类中不可行的问题。
• 通过引入编码输出依赖关系的连续隐变量，实现在结构化分类中高效且准确的推断。
• 将 GCRF 回归中的技术扩展至二值分类，提升模型鲁棒性与性能。
• 比较在隐变量上采用经验贝叶斯与最大后验估计两种推断策略在结构化预测中的表现。

提出的方法

• 提出 GCRFBC，一种结构化模型，其中给定从 GCRF 中抽取的连续隐变量，离散输出条件独立。
• 利用隐变量 GCRF 结构间接表示输出之间的依赖关系，避免直接建模离散输出之间的相关性。
• 在 GCRFBCb 中采用局部变分近似处理 Sigmoid 函数，以实现高效的经验证贝叶斯优化。
• 在 GCRFBCb 中使用牛顿-科特斯求积法进行一维积分，以计算边缘似然值。
• 在 GCRFBCnb 中采用隐变量的最大后验估计进行学习与推断，简化计算过程。
• 通过将潜在空间建模为多变量高斯分布，将现有 GCRF 回归技术扩展至分类任务。

实验结果

研究问题

• RQ1 隐变量 GCRF 结构是否能使原本不可行的结构化二值分类问题变得可计算且高效？
• RQ2 在预测性能与计算成本方面，隐变量的经验贝叶斯与最大后验估计方法相比如何？
• RQ3 与直接建模离散输出依赖关系相比，隐变量 GCRF 模型在多大程度上能降低噪声？
• RQ4 隐变量方差如何影响 GCRFBCb 与 GCRFBCnb 之间的性能差距？
• RQ5 所提出的模型是否能在结构化二值分类中超越无结构预测器？

主要发现

• 当隐变量方差范数较高时，GCRFBCb 在 AUC 上显著优于 GCRFBCnb，并且在条件对数似然的下界方面也更优。
• 当隐变量方差较低时，两种模型性能相当，表明在低方差场景下 MAP 近似已足够。
• 由于变分参数随样本数量增加而增长，GCRFBCb 的计算与内存复杂度更高，时间复杂度提升至 O(TMN³)。
• GCRFBCnb 保持与标准 GCRF 相同的 O(TN³) 复杂度，因此在大规模或高样本量场景下更具效率。
• 在所有合成数据配置下，两种模型在 AUC 与对数似然方面均持续优于无结构预测器。
• 当隐变量方差较低时，GCRFBCnb 在准确率与复杂度之间更具优势；而当方差较高时，GCRFBCb 更具优势。