[论文解读] Mixed-Variate Restricted Boltzmann Machines

Truyen Tran, Dinh Phung+1 more|arXiv (Cornell University)|Aug 6, 2014

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 32

一句话总结

本文提出混合变量受限玻尔兹曼机（MV.RBM），一种统一的生成模型，通过使用二值潜层联合建模异质数据类型——包括二值、类别、多类别、连续、序数及排序偏好——以捕捉其依赖关系。该模型支持高效推理，并可应用于多模态数据集上的降维、分类、回归与数据填补等下游任务。

ABSTRACT

Modern datasets are becoming heterogeneous. To this end, we present in this paper Mixed-Variate Restricted Boltzmann Machines for simultaneously modelling variables of multiple types and modalities, including binary and continuous responses, categorical options, multicategorical choices, ordinal assessment and category-ranked preferences. Dependency among variables is modeled using latent binary variables, each of which can be interpreted as a particular hidden aspect of the data. The proposed model, similar to the standard RBMs, allows fast evaluation of the posterior for the latent variables. Hence, it is naturally suitable for many common tasks including, but not limited to, (a) as a pre-processing step to convert complex input data into a more convenient vectorial representation through the latent posteriors, thereby offering a dimensionality reduction capacity, (b) as a classifier supporting binary, multiclass, multilabel, and label-ranking outputs, or a regression tool for continuous outputs and (c) as a data completion tool for multimodal and heterogeneous data. We evaluate the proposed model on a large-scale dataset using the world opinion survey results on three tasks: feature extraction and visualization, data completion and prediction.

研究动机与目标

• 解决现实世界数据集（如调查问卷）中异质、多模态数据建模的挑战，其中变量涵盖二值、类别、连续、序数及排序偏好等多种类型。
• 扩展标准受限玻尔兹曼机（RBM）框架，支持混合变量可见单元，同时保持快速后验推理与可计算的似然评估。
• 构建一个统一的表征学习框架，支持在复杂异质数据上进行多样化机器学习任务，包括特征提取、降维、分类、回归与数据填补。
• 在包含44个国家、超过38,000名受访者的大型真实调查数据集上，验证模型的有效性。

提出的方法

• MV.RBM 通过带有二值隐藏层的能量模型，对混合变量可见变量（二值、类别、多类别、连续、序数及排序）的联合分布进行建模。
• 每种可见变量类型使用特定函数进行编码：$ G_i(v_i) $ 用于能量项，$ H_{ik}(v_i) $ 用于与隐藏单元 $ h_k $ 的交互，从而实现对不同类型数据的灵活建模。
• 能量函数定义为 $ E(oldsymbol{v}, oldsymbol{h}) = -oldsymbol{v}^T oldsymbol{U} - oldsymbol{h}^T oldsymbol{w} - oldsymbol{v}^T oldsymbol{V} oldsymbol{h} $，其中为每种变量模态配置特定的组件。
• 通过使用 Sigmoid 函数的闭式表达式计算隐藏单元的后验推理，实现快速高效的近似推理。
• 对于缺失数据或预测任务，模型采用均场近似方法计算 $ Q(v_i | \boldsymbol{v}_{\neg C}) $，利用因子化分布近似真实后验。
• 模型通过最大似然估计实现端到端学习，参数通过基于梯度的方法在对数似然 $ \frac{1}{N} \nabla \frac{\nabla \theta}{\nabla \theta} \nabla \theta $ 上进行优化。

实验结果

研究问题

• RQ1 单一 RBM 架构是否能有效在统一的概率框架内建模多种数据类型——包括二值、类别、连续、序数、多类别及排序偏好？
• RQ2 如何通过一个二值潜层有效捕捉异质变量之间的依赖关系，而无需复杂的架构修改？
• RQ3 MV.RBM 在多大程度上可作为通用工具，用于跨多种数据模态的降维、特征提取与数据填补？
• RQ4 该模型在真实世界、大规模、异质数据集（如包含多种响应类型的国际调查数据）上的表现如何？
• RQ5 MV.RBM 是否可通过在相同数据上共享潜在表征，支持多任务学习（如分类、回归、排序）？

主要发现

• MV.RBM 在单一统一的能量模型框架内成功建模了六种数据类型：二值、类别、多类别、连续、序数及类别排序。
• 通过闭式 Sigmoid 计算实现隐藏单元的快速后验推理，使其适用于特征提取与降维等可扩展应用。
• 在包含38,000名受访者、覆盖44个国家的世界意见调查数据集上，MV.RBM 在混合数据类型上实现了有效的数据补全与预测，表现出稳健性能。
• MV.RBM 的潜在后验提供了复杂异质数据的有意义低维向量表示，支持有效的可视化与预处理。
• 该模型可同时支持多种学习任务，包括多分类、多标签预测、回归与标签排序，且共享隐藏表征。
• 缺失数据填补的均场近似方法在数值上高效，且在观测集较大时保持良好准确性，连续变量的函数形式也得以简化。