[论文解读] Distance Dependent Infinite Latent Feature Models

Samuel J. Gershman, Peter I. Frazier+1 more|arXiv (Cornell University)|Oct 25, 2011

Bayesian Methods and Mixture Models参考文献 21被引用 5

一句话总结

本文提出了距离依赖印度餐厅过程（dd-IBP），一种贝叶斯非参数先验，通过在数据点之间引入基于距离的特征共享，扩展了无限潜在特征模型。通过利用成对距离（如时间或空间距离）建模特征相似性，dd-IBP 能够捕捉非交换性数据结构，在重建缺失数据和建模具有依赖关系的时间序列数据方面优于标准 IBP。

ABSTRACT

Latent feature models are widely used to decompose data into a small number of components. Bayesian nonparametric variants of these models, which use the Indian buffet process (IBP) as a prior over latent features, allow the number of features to be determined from the data. We present a generalization of the IBP, the distance dependent Indian buffet process (dd-IBP), for modeling non-exchangeable data. It relies on distances defined between data points, biasing nearby data to share more features. The choice of distance measure allows for many kinds of dependencies, including temporal and spatial. Further, the original IBP is a special case of the dd-IBP. In this paper, we develop the dd-IBP and theoretically characterize its feature-sharing properties. We derive a Markov chain Monte Carlo sampler for a linear Gaussian model with a dd-IBP prior and study its performance on several non-exchangeable data sets.

研究动机与目标

• 为解决标准印度餐厅过程（IBP）假设交换性、无法建模数据点之间依赖关系的局限性。
• 开发 IBP 的一种推广形式，使基于定义距离的邻近数据点能够共享更多潜在特征。
• 在存在数据依赖关系（如时间或空间依赖）的情况下，实现潜在特征模型中的贝叶斯非参数推断。
• 展示 dd-IBP 在建模和重建具有结构化、非交换性特征的数据（如时间序列和脑电信号）方面的有效性。

提出的方法

• 提出距离依赖印度餐厅过程（dd-IBP）作为二值特征矩阵的先验，其中特征共享由数据点之间的成对距离决定。
• 将 dd-IBP 定义为一种顺序生成过程，其中每个新数据点的特征分配取决于其与先前点的距离，并使用指数衰减函数对距离进行建模。
• 推导出适用于线性高斯模型的马尔可夫链蒙特卡洛（MCMC）采样器，支持对潜在特征和超参数的后验推断。
• 使用由 β 参数化的衰减函数控制距离依赖的强度，从而灵活建模时间、空间或协变量相关的依赖关系。
• 采用吉布斯采样并结合条件更新处理缺失数据，实现时间序列数据中缺失观测的重建。
• 从 MCMC 样本中获取最大后验估计（MAP），用于评估模型在数据重建和特征推断任务中的性能。

实验结果

研究问题

• RQ1 能否开发一种非参数先验，使数据点基于其接近程度而非假设交换性来共享特征？
• RQ2 dd-IBP 在建模时间序列和空间相关数据方面与标准 IBP 相比表现如何？
• RQ3 不同距离度量和衰减参数（β）对特征推断和数据重建的影响是什么？
• RQ4 dd-IBP 是否能有效重建如脑电信号时间序列等非交换性数据集中的缺失数据？
• RQ5 dd-IBP 的特征共享行为与其它依赖特征模型（如层次贝塔过程）有何不同？

主要发现

• 在脑电信号时间序列中重建缺失数据方面，dd-IBP 显著优于标准 IBP，在各种衰减参数设置下均实现了更低的平方重建误差。
• dd-IBP 有效捕捉了时间序列数据中的时间依赖性，且当衰减参数 β 调整为反映真实时间结构时，性能进一步提升。
• 该模型能从非交换性数据中成功推断出一组少量但有意义的潜在特征，展示了其在复杂依赖数据集中发现隐藏结构的能力。
• dd-IBP 的特征共享行为在定性上与层次贝塔过程（dHBP）不同：dd-IBP 倾向于局部、基于距离的共享，而 dHBP 则诱导更全局的依赖关系。
• dd-IBP 的 MCMC 采样器在 1500 次迭代内收敛，且后验估计稳定，支持在实际应用中实现可靠推断。
• 当距离均匀或无结构时，dd-IBP 退化为标准 IBP 的特例，既保持了其非参数特性，又为结构化数据提供了灵活性。