[论文解读] Inference for determinantal point processes without spectral knowledge

Rémi Bardenet, Michalis K. Titsias|arXiv (Cornell University)|Jul 4, 2015

Point processes and geometric inequalities参考文献 27被引用 7

一句话总结

该论文通过推导难以处理的似然归一化常数的可计算边界，提出了一种无需谱分解的确定性点过程（DPP）推理方法，避免了核算子的昂贵特征分解。该方法实现了针对有限和连续域上DPP的高效变分推理与中等成本的MCMC采样，在不损失模型可解释性的情况下显著提升了可扩展性。

ABSTRACT

Determinantal point processes (DPPs) are point process models that naturally encode diversity between the points of a given realization, through a positive definite kernel $K$. DPPs possess desirable properties, such as exact sampling or analyticity of the moments, but learning the parameters of kernel $K$ through likelihood-based inference is not straightforward. First, the kernel that appears in the likelihood is not $K$, but another kernel $L$ related to $K$ through an often intractable spectral decomposition. This issue is typically bypassed in machine learning by directly parametrizing the kernel $L$, at the price of some interpretability of the model parameters. We follow this approach here. Second, the likelihood has an intractable normalizing constant, which takes the form of a large determinant in the case of a DPP over a finite set of objects, and the form of a Fredholm determinant in the case of a DPP over a continuous domain. Our main contribution is to derive bounds on the likelihood of a DPP, both for finite and continuous domains. Unlike previous work, our bounds are cheap to evaluate since they do not rely on approximating the spectrum of a large matrix or an operator. Through usual arguments, these bounds thus yield cheap variational inference and moderately expensive exact Markov chain Monte Carlo inference methods for DPPs.

研究动机与目标

• 解决由于核算子L的谱分解导致的DPP似然计算不可行问题。
• 在无需了解核L的谱知识的前提下，实现基于似然的DPP推理。
• 开发计算高效且不依赖矩阵或算子特征分解的DPP似然边界。
• 利用这些边界支持DPP的变分与MCMC推理，确保实际可扩展性。

提出的方法

• 借鉴高斯过程变分推理的技巧，为有限集合的DPP似然推导下界。
• 通过在隐函数和诱导点上引入联合高斯近似，构建对数归一化常数的变分下界。
• 利用Jensen不等式和最优变分分布，推导出避免谱分解的闭式下界。
• 通过算子理论框架的扩展，将有限域的边界推广至连续域。
• 将边界应用于构建变分推理目标和一种绕过谱计算的Metropolis-Hastings MCMC方案。
• 在具有解析可计算Ψ矩阵的高斯核上，通过合成数据和真实世界数据验证该方法。

实验结果

研究问题

• RQ1 我们能否构建避免核算子L谱分解的DPP似然边界？
• RQ2 如何将高斯过程中的变分推理技术适配到DPP中，而无需依赖L的特征值？
• RQ3 所提出的边界能否支持对连续域上DPP的高效且精确的MCMC采样？
• RQ4 与现有方法相比，无谱推理在似然近似精度和采样质量方面的表现如何？

主要发现

• 所提出的DPP对数归一化常数的变分下界无需谱分解即可计算，从而实现了可扩展推理。
• 在合成数据和真实世界DPP数据（包括新闻摘要和空间点模式建模）上，该方法实现了具有竞争力的似然近似精度。
• 对于连续域，通过算子理论的变分近似将边界扩展，保持了计算上的可处理性。
• 该方法同时支持变分与MCMC推理，后者在极限下为精确采样但成本适中。
• 实验表明，该方法在计算效率上优于基线谱方法，同时保持了相近的似然估计水平。
• 对于具有高斯基测度的高斯核，Ψ矩阵可进行解析计算，从而在实验设置中实现了高效实现。