[论文解读] Indian Buffet Process Deep Generative Models

Sotirios Chatzis|arXiv (Cornell University)|Feb 14, 2014

Generative Adversarial Networks and Image Synthesis参考文献 47被引用 4

一句话总结

本文提出了一种深度生成模型，通过引入印度餐厅套餐过程（IBP）先验，实现在深度生成模型中基于数据的潜在特征维度推断。通过将IBP先验与黑箱变分推断相结合，该方法可自动确定相关潜在特征的数量，在半监督分类基准测试中表现优于最先进模型。

ABSTRACT

Deep generative models (DGMs) have brought about a major breakthrough, as well as renewed interest, in generative latent variable models. However, an issue current DGM formulations do not address concerns the data-driven inference of the number of latent features needed to represent the observed data. Traditional linear formulations allow for addressing this issue by resorting to tools from the field of nonparametric statistics: Indeed, nonparametric linear latent variable models, obtained by appropriate imposition of Indian Buffet Process (IBP) priors, have been extensively studied by the machine learning community; inference for such models can been performed either via exact sampling or via approximate variational techniques. Based on this inspiration, in this paper we examine whether similar ideas from the field of Bayesian nonparametrics can be utilized in the context of modern DGMs in order to address the latent variable dimensionality inference problem. To this end, we propose a novel DGM formulation, based on the imposition of an IBP prior. We devise an efficient Black-Box Variational inference algorithm for our model, and exhibit its efficacy in a number of semi-supervised classification experiments. In all cases, we use popular benchmark datasets, and compare to state-of-the-art DGMs.

研究动机与目标

• 解决深度生成模型（DGMs）中需要预设固定数量潜在特征的局限性。
• 将非参数贝叶斯方法——特别是印度餐厅套餐过程（IBP）——扩展至现代深度生成模型，以实现灵活且基于数据的潜在维度推断。
• 开发一种高效的推断算法，可在保持IBP非参数特性的前提下，扩展至复杂深度架构。
• 在基准半监督分类任务上评估所提模型，并与最先进DGMs进行性能比较。

提出的方法

• 在深度生成模型的潜在特征上施加印度餐厅套餐过程（IBP）先验，以允许潜在特征数量无界且自适应数据。
• 使用深度神经网络参数化生成过程，通过学习到的非线性变换将潜在特征映射到观测数据。
• 应用黑箱变分推断（BBVI）近似难以计算的潜在变量和模型参数后验分布。
• 采用重参数化技巧，即使在IBP诱导的特征为离散的情况下，也能实现变分目标的基于梯度优化。
• 推导IBP先验的可微松弛，以在变分推断框架中实现高效的梯度估计。
• 采用随机优化方法，使推断过程可扩展至大规模基准数据集。

实验结果

研究问题

• RQ1 印度餐厅套餐过程能否有效整合到深度生成模型中，以实现潜在特征数量的自动推断？
• RQ2 与固定维度的DGM相比，所提出的基于IBP的DGM在半监督学习任务中的表现如何？
• RQ3 黑箱变分推断是否能够实现IBP先验DGM的有效且可扩展的训练？
• RQ4 通过IBP实现的数据驱动特征选择对模型泛化能力和性能有何影响？

主要发现

• 所提模型能够直接从数据中推断出相关潜在特征的数量，无需人工指定。
• 在半监督分类基准测试中，该模型的性能与最先进深度生成模型相比具有竞争力或更优。
• 黑箱变分推断使得尽管先验结构复杂，仍能有效且可扩展地训练IBP先验深度生成模型。
• IBP与深度架构的结合显著提升了泛化能力，尤其在数据量较少的情况下。