[论文解读] Vector-Space Markov Random Fields via Exponential Families

Wesley Tansey, Oscar Hernán Madrid Padilla+2 more|arXiv (Cornell University)|May 19, 2015

Markov Chains and Monte Carlo Methods参考文献 12被引用 9

一句话总结

本文提出了向量空间马尔可夫随机场（VS-MRFs），这是指数族图模型的一种推广，允许变量属于任意向量空间，例如多项分布或狄利克雷分布。该方法采用基于稀疏组Lasso的M-估计器并结合ADMM优化，实现了结构的稀疏一致性学习，并在MyFitnessPal的真实食物数据及合成数据上成功恢复了真实的图结构。

ABSTRACT

We present Vector-Space Markov Random Fields (VS-MRFs), a novel class of undirected graphical models where each variable can belong to an arbitrary vector space. VS-MRFs generalize a recent line of work on scalar-valued, uni-parameter exponential family and mixed graphical models, thereby greatly broadening the class of exponential families available (e.g., allowing multinomial and Dirichlet distributions). Specifically, VS-MRFs are the joint graphical model distributions where the node-conditional distributions belong to generic exponential families with general vector space domains. We also present a sparsistent $M$-estimator for learning our class of MRFs that recovers the correct set of edges with high probability. We validate our approach via a set of synthetic data experiments as well as a real-world case study of over four million foods from the popular diet tracking app MyFitnessPal. Our results demonstrate that our algorithm performs well empirically and that VS-MRFs are capable of capturing and highlighting interesting structure in complex, real-world data. All code for our algorithm is open source and publicly available.

研究动机与目标

• 将现有的混合图模型从单变量、单参数指数族推广至支持多参数、向量值分布（如多项分布和狄利克雷分布）的场景。
• 构建一个原则化的联合图模型框架，其中节点条件分布属于具有通用向量空间定义域的通用指数族。
• 设计一种可扩展的、稀疏一致的M-估计器，用于学习高维向量空间MRF中的潜在图结构。
• 在合成数据和来自MyFitnessPal的超过四百万种食物的真实世界数据集上验证该方法，证明其能够揭示有意义的结构。

提出的方法

• 提出向量空间MRF（VS-MRFs）作为与任意向量空间上通用指数族节点条件分布一致的联合分布。
• 进行类似Hammersley-Clifford的分析，从向量空间中的条件分布推导联合分布，推广了先前的标量和单参数模型。
• 引入使用稀疏组Lasso正则化的M-估计器，以在图模型结构中促进稀疏性。
• 采用基于ADMM的优化算法，高效且可扩展地求解M-估计问题。
• 通过建立在温和正则性和互不相干性假设下的严格对偶可行性及邻域恢复条件，推导出理论上的稀疏一致性保证。
• 采用对偶分解方法，验证估计器能正确排除非边变量并恢复真实的邻域结构。

实验结果

研究问题

• RQ1 我们能否将现有混合图模型推广以处理如多项分布和狄利克雷分布等多参数指数族？
• RQ2 我们能否构建一个联合图模型，使得节点条件分布属于任意向量空间定义域，同时保持马尔可夫随机场的性质？
• RQ3 所提出的带有稀疏组Lasso正则化的M-估计器是否能在向量空间MRF中实现稀疏一致的结构学习？
• RQ4 该方法是否能在具有复杂异质变量类型的高维真实世界数据中恢复出有意义且可解释的结构？

主要发现

• 所提出的VS-MRF框架成功将标量和单参数混合MRF推广至支持多参数指数族（包括多项分布和狄利克雷分布）的场景。
• 基于稀疏组Lasso的M-估计器具有可证明的稀疏一致性，即在适当的正则性条件下，以高概率恢复真实图结构。
• 基于ADMM的优化算法使大规模数据集（如包含超过四百万个条目的MyFitnessPal食物数据库）上的可扩展学习成为可能。
• 在MyFitnessPal案例研究中，学习到的VS-MRF揭示了有意义的生物学与营养学结构，宏量营养素（脂肪、碳水化合物、蛋白质）在图中表现为关键枢纽节点。
• 合成实验表明，该方法能准确恢复不同数据类型和配置下的底层图结构。
• 理论分析表明，当正则化参数满足相对于精度矩阵互不相干性的特定边界条件时，可实现严格对偶可行性与邻域恢复。