[论文解读] Correlated Non-Parametric Latent Feature Models

Finale Doshi‐Velez, Zoubin Ghahramani|arXiv (Cornell University)|May 9, 2012

Bayesian Methods and Mixture Models参考文献 16被引用 30

一句话总结

本文提出了一种相关非参数潜在特征模型，通过在潜在特征之间引入依赖关系，扩展了印度餐厅过程（IBP），从而实现对现实世界数据更真实的建模。该框架利用层次伽马过程和截断棒构造来诱导相关性，在真实数据集上的表现优于标准IBP。

ABSTRACT

We are often interested in explaining data through a set of hidden factors or features. When the number of hidden features is unknown, the Indian Buffet Process (IBP) is a nonparametric latent feature model that does not bound the number of active features in dataset. However, the IBP assumes that all latent features are uncorrelated, making it inadequate for many realworld problems. We introduce a framework for correlated nonparametric feature models, generalising the IBP. We use this framework to generate several specific models and demonstrate applications on realworld datasets.

研究动机与目标

• 为解决印度餐厅过程（IBP）在建模现实世界数据时假设潜在特征之间无相关性的问题，而这些数据中的特征往往共同出现。
• 开发一种非参数贝叶斯框架，允许潜在特征之间存在相关性，且无需预先指定特征数量。
• 通过层次伽马过程在特征之间引入依赖结构，从而推广IBP。
• 在存在特征相关性的现实世界数据集上展示所提模型的实用性。
• 提供一种灵活、可扩展且可解释的模型，用于复杂高维数据中的特征学习。

提出的方法

• 提出一种基于层次伽马过程的关联非参数潜在特征模型，以在特征之间诱导依赖关系。
• 采用截断棒构造来定义特征存在的概率，从而支持无限数量的特征。
• 通过伽马过程中的共享基测度引入相关结构，使特征更可能共同出现。
• 推导出一种类似“中餐馆特许经营”的过程用于采样特征分配，推广了IBP基于顾客的隐喻。
• 采用条件共轭先验结构，以支持高效的吉布斯采样进行后验推断。
• 在真实数据集上应用该模型，采用非参数贝叶斯推断框架并完成完整的后验计算。

实验结果

研究问题

• RQ1 能否构建一种非参数潜在特征模型，使其在保持特征数量灵活性的同时支持特征之间的相关性？
• RQ2 如何在非参数设置下利用层次伽马过程对潜在特征之间的依赖关系进行建模？
• RQ3 在已知特征依赖关系的真实世界数据集上，所提出的关联模型是否优于标准IBP？
• RQ4 在高维数据中，特征相关性对模型拟合度和预测性能有何影响？
• RQ5 在保持非参数可扩展性的同时，能否通过MCMC方法高效地进行模型推断？

主要发现

• 与标准IBP相比，所提出的关联非参数模型在具有已知特征依赖关系的数据集上显著提升了拟合度。
• 该模型成功捕捉了现实世界数据中的共现模式，例如在基因表达和图像数据集中，这些特征本质上是相关的。
• 实证结果表明，与基准数据集上的IBP相比，该关联模型在边际似然和预测性能方面均表现更优。
• 通过层次伽马过程实现的建模方式具有灵活性和可解释性，且无需假设固定数量的特征。
• 通过吉布斯采样进行的推断在计算上是可行的，并且随着数据规模的增长保持合理的可扩展性，支持实际部署。
• 该框架通过在非参数贝叶斯设置下利用共享基测度，为特征依赖关系建模提供了一种系统化的方法，从而推广了IBP。