[论文解读] Approximate Inference in Continuous Determinantal Point Processes

Raja Hafiz Affandi, Emily B. Fox+1 more|arXiv (Cornell University)|Nov 12, 2013

Point processes and geometric inequalities参考文献 22被引用 15

一句话总结

该论文提出了一种高效的连续确定性点过程（DPP）近似采样方法，利用Nyström和随机傅里叶特征（RFF）进行低秩核近似，并结合Gibbs采样器处理k-DPP。该方法在高维连续空间中实现了可 tractable 的推理，展示了在排斥性混合建模和多样化人体姿态生成中的优势，相较于独立同分布（i.i.d.）采样具有更优的覆盖能力。

ABSTRACT

Determinantal point processes (DPPs) are random point processes well-suited for modeling repulsion. In machine learning, the focus of DPP-based models has been on diverse subset selection from a discrete and finite base set. This discrete setting admits an efficient sampling algorithm based on the eigendecomposition of the defining kernel matrix. Recently, there has been growing interest in using DPPs defined on continuous spaces. While the discrete-DPP sampler extends formally to the continuous case, computationally, the steps required are not tractable in general. In this paper, we present two efficient DPP sampling schemes that apply to a wide range of kernel functions: one based on low rank approximations via Nystrom and random Fourier feature techniques and another based on Gibbs sampling. We demonstrate the utility of continuous DPPs in repulsive mixture modeling and synthesizing human poses spanning activity spaces.

研究动机与目标

• 为解决连续DPP缺乏可 tractable 采样算法的问题，该问题限制了其在连续空间中建模排斥性的应用。
• 通过核近似技术，将基于特征分解的离散DPP计算效率扩展到连续域。
• 使连续DPP在生成建模和高维数据的多样化子集选择中实现实际应用。
• 开发基于低秩近似和Gibbs采样两种推理方案，适用于广泛的核函数。
• 在真实世界问题（如人体姿态生成和排斥性混合建模）上实证验证所提方法。

提出的方法

• 利用DPP的双重表示形式，通过低秩核近似实现采样，避免对核算子进行完整的特征分解。
• 采用Nyström和随机傅里叶特征（RFF）方法近似核函数，实现DPP似然和采样的高效计算。
• 通过核矩阵的Schur补推导出k-DPP的Gibbs采样器，用于计算剩余点的条件分布。
• 将低秩近似应用于核的对偶形式，实现无需显式计算完整核算子特征分解的DPP采样。
• 将所得近似DPP用作提议分布，结合Metropolis-Hastings方法以减少近似误差。
• 采用连续空间DPP公式，其中概率密度与所选点上核矩阵的行列式成正比。

实验结果

研究问题

• RQ1 能否有效利用Nyström和随机傅里叶特征等低秩核近似方法，实现连续DPP的高效采样？
• RQ2 如何在连续空间中通过核矩阵的Schur补，将Gibbs采样框架适配于k-DPP？
• RQ3 在高维数据流形（如人体运动生成）中，近似DPP采样器在覆盖能力上相比i.i.d.采样器有多大的优势？
• RQ4 连续DPP能否有效应用于排斥性混合建模？与标准非排斥性混合模型相比表现如何？
• RQ5 所提方法在维度d上的计算扩展特性如何？

主要发现

• 基于RFF和Nyström的低秩近似方法在维度d上线性扩展，实现了高质量的DPP采样，使高维空间（如62维人体运动数据）中的应用成为可能。
• 在人体姿态生成中，DPP采样姿态在ε=40时实现了90%的数据覆盖，优于i.i.d.采样（需ε=253才能覆盖全部数据）。
• DPP方法比i.i.d.采样覆盖了更多稀有姿态，展示了在高维活动空间中更高的多样性与鲁棒性。
• 在排斥性混合建模中，DPP模型在两分类Iris数据集上的分类误差更低（0.15 vs. 0.23），优于标准非排斥性混合模型。
• k-DPP的Gibbs采样器通过利用Schur补实现了精确的条件采样，支持在结构化连续空间中进行精确推理。
• 实证分析表明，低秩近似方法保持了DPP的排斥特性，且在测试的各类核函数中采样质量下降极小。