[论文解读] Collapsed Variational Bayes Inference of Infinite Relational Model

Katsuhiko Ishiguro, Issei Sato+1 more|arXiv (Cornell University)|Sep 16, 2014

Bayesian Methods and Mixture Models参考文献 42被引用 3

一句话总结

本文提出了一种用于无限关系模型（IRM）的平均坍缩变分贝叶斯（ACVB）推断方法，提供了一种确定性、快速且收敛性可保证的替代吉布斯采样和标准变分贝叶斯的方法。该方法引入了基于CVB0的超参数更新机制，包括狄利克雷过程浓度参数的更新，并实现了线性时间推断，显著提升了大规模关系数据集的可扩展性和实用性，性能与现有方法相当或更优。

ABSTRACT

The Infinite Relational Model (IRM) is a probabilistic model for relational data clustering that partitions objects into clusters based on observed relationships. This paper presents Averaged CVB (ACVB) solutions for IRM, convergence-guaranteed and practically useful fast Collapsed Variational Bayes (CVB) inferences. We first derive ordinary CVB and CVB0 for IRM based on the lower bound maximization. CVB solutions yield deterministic iterative procedures for inferring IRM given the truncated number of clusters. Our proposal includes CVB0 updates of hyperparameters including the concentration parameter of the Dirichlet Process, which has not been studied in the literature. To make the CVB more practically useful, we further study the CVB inference in two aspects. First, we study the convergence issues and develop a convergence-guaranteed algorithm for any CVB-based inferences called ACVB, which enables automatic convergence detection and frees non-expert practitioners from difficult and costly manual monitoring of inference processes. Second, we present a few techniques for speeding up IRM inferences. In particular, we describe the linear time inference of CVB0, allowing the IRM for larger relational data uses. The ACVB solutions of IRM showed comparable or better performance compared to existing inference methods in experiments, and provide deterministic, faster, and easier convergence detection.

研究动机与目标

• 为解决当前无限关系模型（IRM）缺乏实用、快速且可检测收敛性的推断方法的问题，因为其目前依赖于缓慢且难以监控的吉布斯采样器。
• 开发一种用于IRM的坍缩变分贝叶斯（CVB）框架，通过边缘化潜在参数来改进标准变分贝叶斯方法，实现更快、确定性的推断。
• 提出一种新颖的收敛性可保证算法——平均CVB（ACVB），可在无需人工监控的情况下自动检测收敛，这对非专家用户至关重要。
• 通过聚类收缩技术提升计算效率，实现线性时间推断，使IRM适用于更大规模的关系数据集。
• 推导出首个基于CVB0的全部超参数更新规则，包括狄利克雷过程浓度参数的更新，该参数此前在文献中尚未被探索。

提出的方法

• 使用泰勒近似（类似于LDA中所用方法）来构建IRM中坍缩变分贝叶斯（CVB）推断的下界，使原本不可计算的下界变为可计算。
• 基于下界最大化推导出两种CVB解——普通CVB和CVB0，其中CVB0最小化α-散度，提供更优的近似质量。
• 提出ACVB，一种新颖的基于退火的技巧，通过在迭代过程中对变分参数取平均来保证收敛性，其平稳点等价于收敛解。
• 提出一种聚类收缩技术，可在推断过程中减少活跃聚类的数量，从而实现线性时间复杂度并提升可扩展性。
• 通过利用稀疏性和高效的更新规则，实现CVB0的线性时间推断，显著降低计算成本。
• 推导出基于CVB0的全部超参数更新规则，包括狄利克雷过程浓度参数的更新，实现自动超参数优化。

实验结果

研究问题

• RQ1 坍缩变分贝叶斯推断能否被有效适配到无限关系模型（IRM）中，以提供比吉布斯采样更快、更确定性且更具可扩展性的推断？
• RQ2 如何在CVB基础上的IRM推断中保证收敛性并实现自动检测，从而克服随机采样器的局限性？
• RQ3 CVB0能否被扩展以支持所有超参数的自动更新，包括此前未被研究过的狄利克雷过程浓度参数？
• RQ4 线性时间推断与聚类收缩在多大程度上提升了IRM在大规模关系数据集上的可扩展性？
• RQ5 所提出的ACVB方法在真实世界关系数据上的性能和收敛行为与现有推断方法相比如何？

主要发现

• 所提出的ACVB推断通过简单的退火机制实现了收敛性保证，消除了吉布斯采样中所需的繁琐人工收敛监控。
• 基于ACVB的推断在关系数据建模任务中表现出与现有方法相当或更优的性能，具有更快的收敛速度和确定性计算。
• CVB0的线性时间推断使大规模关系数据的高效分析成为可能，实际计算成本随数据规模呈次线性增长。
• 聚类收缩技术在推断过程中减少了活跃聚类数量，从而加快收敛速度并降低计算开销，尤其在密集数据集中效果显著。
• ACVB0方法能自动且可靠地检测收敛，当收敛阈值从0.001%放宽至0.01%时，收敛速度提升10倍或以上。
• 首次推导出基于CVB0的狄利克雷过程浓度参数更新规则，实现了完全自动化的超参数优化，显著提升了模型的自适应能力。