[论文解读] Learning Determinantal Point Processes

Alex Kulesza, Ben Taskar|Scholarly Commons (University of Pennsylvania)|Feb 14, 2012

Stochastic processes and statistical mechanics参考文献 16被引用 108

一句话总结

本文提出了一种基于特征的条件型确定性点过程（DPP）参数化方法，实现了从标注数据中进行端到端学习的凸优化。通过采用一种可处理的判别性框架对多样且非冗余的子集选择进行建模，该方法在 DUC 2003/04 基准测试的抽取式多文档摘要任务中取得了最先进性能，有效平衡了相关性与多样性。

ABSTRACT

Determinantal point processes (DPPs), which arise in random matrix theory and quantum physics, are natural models for subset selection problems where diversity is preferred. Among many remarkable properties, DPPs offer tractable algorithms for exact inference, including computing marginal probabilities and sampling; however, an important open question has been how to learn a DPP from labeled training data. In this paper we propose a natural feature-based parameterization of conditional DPPs, and show how it leads to a convex and efficient learning formulation. We analyze the relationship between our model and binary Markov random fields with repulsive potentials, which are qualitatively similar but computationally intractable. Finally, we apply our approach to the task of extractive summarization, where the goal is to choose a small subset of sentences conveying the most important information from a set of documents. In this task there is a fundamental tradeoff between sentences that are highly relevant to the collection as a whole, and sentences that are diverse and not repetitive. Our parameterization allows us to naturally balance these two characteristics. We evaluate our system on data from the DUC 2003/04 multi-document summarization task, achieving state-of-the-art results.

研究动机与目标

• 为从标注训练数据中学习 DPP 解决开放问题。
• 开发一种基于特征的参数化方法，使条件型 DPP 实现高效且凸优化。
• 通过统一的概率框架同时建模相关性与多样性，实现在抽取式摘要中的平衡。
• 在真实世界的多文档摘要任务中展示所提方法的有效性。

提出的方法

• 作者引入了一种使用特征函数的条件型 DPP 参数化方法，该函数将输入配置映射到核矩阵，从而实现判别性学习。
• 他们将学习目标表述为对核参数的凸优化问题，确保全局收敛。
• 该方法使用对数行列式函数来建模 DPP 的似然，该函数具有可处理性和可微性，适用于高效的基于梯度的优化。
• 通过将句子选择建模为多样子集选择问题，将该框架应用于抽取式摘要。
• 该模型通过联合特征表示，学习在文档集合中保持高相关性的同时降低所选句子之间的冗余性。

实验结果

研究问题

• RQ1 能否构建一种判别性、基于特征的 DPP 参数化方法，使其能够从标注数据中实现凸学习？
• RQ2 与具有排斥势能的二值马尔可夫随机场相比，所提出的 DPP 模型在计算可处理性和性能方面表现如何？
• RQ3 DPP 框架在多文档摘要任务中在多大程度上能够平衡相关性与多样性？
• RQ4 所提出的学习方法是否在标准多文档摘要基准测试中达到了最先进水平？

主要发现

• 所提出的基于特征的 DPP 参数化方法实现了凸优化，使端到端学习变得可行且高效。
• 该方法在 DUC 2003/04 多文档摘要任务中取得了最先进性能，优于先前的方法。
• 该模型有效平衡了句子的相关性与多样性，减少了冗余性，同时保持了高信息覆盖率。
• 该框架在计算上是可处理的，并能提供边际概率和采样的精确推理，而无需依赖计算上不可行的替代方法（如排斥型 MRFs）。