[论文解读] Manifold Relevance Determination

Andreas Damianou, Carl Henrik Ek+2 more|arXiv (Cornell University)|Jun 18, 2012

Gaussian Processes and Bayesian Inference参考文献 19被引用 49

一句话总结

该论文提出了一种完全贝叶斯的潜在变量模型，通过将离散分割软化为连续的、概率性的潜在空间，从多个数据视图中学习共享和私有表示。通过利用流形结构并自动估计维度，该模型捕捉了高维数据中的复杂非线性依赖关系——在图像生成和人体姿态预测任务中得到验证——同时通过学习到的先验实现合理的去模糊化处理。

ABSTRACT

In this paper we present a fully Bayesian latent variable model which exploits conditional nonlinear(in)-dependence structures to learn an efficient latent representation. The latent space is factorized to represent shared and private information from multiple views of the data. In contrast to previous approaches, we introduce a relaxation to the discrete segmentation and allow for a "softly" shared latent space. Further, Bayesian techniques allow us to automatically estimate the dimensionality of the latent spaces. The model is capable of capturing structure underlying extremely high dimensional spaces. This is illustrated by modelling unprocessed images with tenths of thousands of pixels. This also allows us to directly generate novel images from the trained model by sampling from the discovered latent spaces. We also demonstrate the model by prediction of human pose in an ambiguous setting. Our Bayesian framework allows us to perform disambiguation in a principled manner by including latent space priors which incorporate the dynamic nature of the data.

研究动机与目标

• 开发一种贝叶斯框架，用于建模多个数据视图之间的共享和私有潜在结构。
• 通过引入共享成分的连续、概率性表示，放松多视图学习中的离散分割。
• 使用贝叶斯推断自动推断潜在空间的最优维度。
• 对高维数据（如包含数万个像素的原始图像）中的复杂非线性依赖关系进行建模。
• 通过动态潜在先验，在模糊设置（如人体姿态估计）中实现有原则的去模糊化处理。

提出的方法

• 该模型采用因子分解的潜在空间，每个视图均对共享和私有成分做出贡献，通过连续混合矩阵实现软性混合。
• 在潜在流形上使用高斯过程先验，以建模数据中的非线性依赖关系。
• 在潜在维度上施加层次化贝叶斯先验，以实现自动相关性确定（ARD），从而推断有效维度。
• 使用变分推断结合平均场近似进行模型训练，以处理潜在变量后验分布的不可计算性。
• 通过将潜在空间映射到观测数据的似然函数对似然进行建模，从而实现通过采样直接生成图像。
• 引入动态先验以反映时间或结构约束，例如在人体姿态预测中的应用。

实验结果

研究问题

• RQ1 我们如何以连续、概率化的方式建模多个数据视图之间的共享和私有信息？
• RQ2 我们能否在无需手动调参的情况下自动确定潜在空间的相关维度？
• RQ3 该模型在捕捉高维数据（如原始图像）中的非线性结构方面表现如何？
• RQ4 该模型能否通过有原则的贝叶斯先验在模糊数据设置中实现去模糊化？
• RQ5 与硬性分割相比，软性共享机制在表示学习方面有多大程度的改进？

主要发现

• 该模型成功地从包含数万个像素的未经处理的图像中学习到低维、非线性的潜在表示，通过采样实现直接图像生成。
• 通过贝叶斯先验实现的自动相关性确定，有效识别出潜在空间的真实底层维度，而无需手动指定。
• 软性共享机制优于硬性分割，通过允许视图对共享成分进行部分、连续的贡献，提高了对噪声和模糊性的鲁棒性。
• 在人体姿态预测中，该模型通过引入反映时间一致性的动态先验实现去模糊化，提升了在模糊构型下的准确性。
• 该框架在高维数据上表现出强大的泛化能力，通过概率推断和不确定性量化保持了可解释性。
• 该模型能够从学习到的潜在空间生成新图像，证实其具备捕捉有意义数据流形的能力。