[论文解读] Exchangeable Variable Models

Mathias Niepert, Pedro Domingos|arXiv (Cornell University)|May 2, 2014

Bayesian Modeling and Causal Inference参考文献 29被引用 12

一句话总结

本文提出可交换变量模型（EVMs），这是一种新型的可 tractable 概率模型，利用部分可交换序列作为构建模块，以高效捕捉高维稀疏数据中的复杂相关性。所提出的 EVM 混合模型（MEVMs）家族在分类和概率估计任务中达到最先进性能，在多个基准数据集上优于支持向量机（SVMs）、朴素贝叶斯（naive Bayes）以及其他可 tractable 模型（如 SPNs 和 ACMNs），同时保持计算效率。

ABSTRACT

A sequence of random variables is exchangeable if its joint distribution is invariant under variable permutations. We introduce exchangeable variable models (EVMs) as a novel class of probabilistic models whose basic building blocks are partially exchangeable sequences, a generalization of exchangeable sequences. We prove that a family of tractable EVMs is optimal under zero-one loss for a large class of functions, including parity and threshold functions, and strictly subsumes existing tractable independence-based model families. Extensive experiments show that EVMs outperform state of the art classifiers such as SVMs and probabilistic models which are solely based on independence assumptions.

研究动机与目标

• 开发一类新型可 tractable 概率模型，利用有限部分可交换性作为结构归纳偏置，实现在高复杂度模型中的高效推理与学习。
• 解决基于独立性假设的模型（如朴素贝叶斯）以及低树宽图模型在捕捉高维数据中复杂正负相关性方面的局限性。
• 证明 EVMs（特别是 MEVM 家族）在重要布尔函数（如异或函数和阈值函数）下，于零一损失下为最优。
• 表明 EVMs 在真实世界高维稀疏数据集上的分类准确率和对数似然值方面，显著优于现有可 tractable 模型。
• 建立一个系统化框架，结合条件独立性与部分可交换性，以实现高效的结构学习与参数估计。

提出的方法

• EVMs 基于有限部分可交换性的概念构建，其中变量被分组为块，其联合分布仅依赖于各块的充分统计量，从而降低参数复杂度。
• 通过 EVM 混合模型（MEVMs）提升表达能力，同时保持可 tractable 推理，实现在一大类布尔函数下的零一损失最优分类。
• 采用高效的 EM 算法进行最大似然估计，推理复杂度与可交换块的数量呈线性关系，而非与单个变量数量相关。
• 通过统计依赖性与预测性能识别变量最优分组，实现结构学习。
• 该框架可与现有可 tractable 模型（如和积网络 SPNs）集成，通过引入可交换变量节点作为新型组件类型。
• 理论分析证明，EVM 的一个子族在异或函数和阈值函数下于零一损失下为最优，将朴素贝叶斯的最优性扩展至更复杂的函数类别。

实验结果

研究问题

• RQ1 有限部分可交换性能否作为基础原则，用于构建可 tractable 概率模型，以捕捉复杂相关性而不牺牲推理效率？
• RQ2 是否存在一类基于可交换性的可 tractable 模型，使其在零一损失下对重要布尔函数类（如异或函数和阈值函数）达到最优？
• RQ3 在高维稀疏数据集上，EVMs 与 MEVMs 在分类准确率和对数似然值方面，与最先进分类器及概率模型相比表现如何？
• RQ4 EVMs 是否可高效学习并扩展至大规模数据集？与朴素贝叶斯相比，EVM 的 EM 算法在收敛速度与计算成本方面是否更优？
• RQ5 在深度概率架构中，可交换变量节点的作用是什么？与求和节点和乘积节点相比，其在模型紧凑性与表达能力方面表现如何？

主要发现

• 在全部 12 个基准数据集上，MEVMs 的平均对数似然值均优于朴素贝叶斯、隐树模型和 Chow-Liu 树，其中在 7 个数据集上取得最高分。
• 在 Wilcoxon 符号秩检验中，MEVMs 在对数似然值上显著优于朴素贝叶斯（p = 0.0124）、隐树模型（p = 0.0188）和 Chow-Liu 树（p = 0.0022）。
• 在变量数达 100 个或以上的数据集上，MEVM 的 EM 算法速度比朴素贝叶斯快达两个数量级，归因于其在可交换块数量上的线性复杂度。
• 尽管参数量与朴素贝叶斯相同，MEVMs 在 7/12 个数据集上优于 SPNs，在 6/12 个数据集上优于 ACMNs，且显著更高效。
• MEVMs 在 7 个数据集（包括 NLTCS、Plants、Audio、Netflix 和 20Newsgroup）上取得最高对数似然值，表明其在高维稀疏数据上的强大性能。
• 理论结果表明，EVM 的一个子族在异或函数和阈值函数下于零一损失下为最优，将朴素贝叶斯的最优性推广至更广泛的函数类别。