[论文解读] Learning Determinantal Point Processes by Sampling Inferred Negatives.

Zelda Mariet, Mike Gartrell+1 more|arXiv (Cornell University)|Feb 15, 2018

Point processes and geometric inequalities参考文献 39被引用 3

一句话总结

本文提出对比估计（Contrastive Estimation, CE），一种新颖的优化框架，通过在训练过程中引入推断的负样本，用于学习确定性点过程（Determinantal Point Processes, DPPs）。通过利用对比学习原则，CE 在真实世界数据集上提升了 DPP 的预测性能，尤其在具有挑战性的任务中表现更优，其动态或静态负样本采样策略有效增强了质量与多样性之间的权衡。

ABSTRACT

Determinantal Point Processes (DPPs) have attracted significant interest from the machine-learning community due to their ability to elegantly and tractably model the delicate balance between quality and diversity of sets. We consider learning DPPs from data, a key task for DPPs; for this task, we introduce a novel optimization problem, Contrastive Estimation (CE), which encodes information about samples into the basic learning model. CE is grounded in the successful use of negative information in machine-vision and language modeling. Depending on the chosen negative distribution (which may be static or evolve during optimization), CE assumes two different forms, which we analyze theoretically and experimentally. We evaluate our new model on real-world datasets; on a challenging dataset, CE learning delivers a considerable improvement in predictive performance over a DPP learned without using contrastive information.

研究动机与目标

• 为解决从数据中学习 DPP 时负信息利用不足的问题，现有方法对此关注有限。
• 开发一种新的优化框架——对比估计（Contrastive Estimation, CE），通过编码负样本信息来增强 DPP 的学习能力。
• 从理论和实证两方面分析并评估两种形式的 CE——基于静态或演化负分布的形式。
• 提升 DPP 在真实世界数据集上的预测性能，特别是在需要平衡质量与多样性的场景中。

提出的方法

• 本文提出对比估计（Contrastive Estimation, CE），一种新型优化目标，通过引入从数据分布中推导出的负样本来扩展标准 DPP 学习方法。
• CE 采用对比学习方法，其中正样本为实际数据集，负样本通过采样机制推断得到。
• 该方法支持两种变体：一种使用静态负分布，另一种在优化过程中使负分布动态演化。
• 优化过程旨在最大化正样本的似然，同时最小化负样本的似然，从而有效建模质量与多样性之间的权衡。
• 该框架基于 DPP 的数学结构，确保所得核矩阵保持正定性并保留行列式性质。
• 通过真实世界数据集对方法进行评估，性能指标包括预测似然和质量-多样性权衡度量。

实验结果

研究问题

• RQ1 如何有效将负信息整合到 DPP 学习中以提升预测性能？
• RQ2 在 CE 中使用静态与演化负分布的理论与实证差异是什么？
• RQ3 对比学习原则能否增强 DPP 对集合型数据中质量与多样性建模的能力？
• RQ4 与标准 DPP 学习方法相比，CE 在预测准确率和多样性保持方面表现如何？
• RQ5 负采样策略的选择对 DPP 学习中收敛性和泛化能力有何影响？

主要发现

• 与不使用对比信息的标准 DPP 学习相比，CE 在一个具有挑战性的现实世界数据集上显著提升了预测性能。
• 采用演化负分布的 CE 变体在预测似然方面始终优于静态负分布的变体。
• 使用推断的负样本可提升泛化能力，并使 DPP 对质量-多样性权衡的建模更加稳健。
• 理论分析表明，CE 在保持 DPP 所需正定结构的同时，改善了学习动态。
• 实证结果表明，CE 在多种真实世界数据集中均表现有效，尤其在对集合多样性与质量要求较高的场景中。
• 该框架展现出良好的可扩展性与稳定性，适用于实际部署于集合预测任务中。