[论文解读] Maximum likelihood estimation of determinantal point processes

Victor-Emmanuel Brunel, Ankur Moitra+2 more|arXiv (Cornell University)|Jan 23, 2017

Random Matrices and Applications参考文献 42被引用 6

一句话总结

本文对离散确定性点过程（DPP）的最大似然估计（MLE）进行了严格的统计分析，揭示了只有在特定组合条件下，MLE 的收敛速度才为参数级。研究建立了似然函数景观中存在指数级数量的鞍点，表明尽管似然函数非凹，MLE 仍可能高效计算。

ABSTRACT

Determinantal point processes (DPPs) have wide-ranging applications in machine learning, where they are used to enforce the notion of diversity in subset selection problems. Many estimators have been proposed, but surprisingly the basic properties of the maximum likelihood estimator (MLE) have received little attention. The difficulty is that it is a non-concave maximization problem, and such functions are notoriously difficult to understand in high dimensions, despite their importance in modern machine learning. Here we study both the local and global geometry of the expected log-likelihood function. We prove several rates of convergence for the MLE and give a complete characterization of the case where these are parametric. We also exhibit a potential curse of dimensionality where the asymptotic variance of the MLE scales exponentially with the dimension of the problem. Moreover, we exhibit an exponential number of saddle points, and give evidence that these may be the only critical points.

研究动机与目标

• 理解用于机器学习中子集选择与多样性的离散确定性点过程（DPP）的最大似然估计（MLE）的统计性质。
• 解决 DPP 的 MLE 缺乏理论理解的问题，特别是由于高维下似然函数的非凹性所致。
• 刻画 MLE 实现参数收敛速率的条件，并量化渐近方差，其可能随维度呈指数级增长。
• 研究期望对数似然函数的全局几何结构，特别是临界点的结构，以指导高效优化。

提出的方法

• 采用信息几何方法，分析期望对数似然函数在其最大值附近的局部曲率。
• 通过分析强凸性常数及其与 DPP 组合参数的依赖关系，推导出 MLE 以参数速率收敛的确切条件。
• 利用矩阵扰动理论和行列式恒等式，证明期望对数似然函数存在至少 $2^N$ 个鞍点，每个鞍点对应 DPP 在索引子集上的部分解耦。
• 应用浓度不等式（Hoeffding 不等式）和紧致性论证，通过构造 MLE 集中于其上的紧致参数集，证明 MLE 几乎必然一致。
• 运用渐近统计工具，包括 van der Vaart（1998）的定理 5.14 和推论 5.53，建立 MLE 的依概率收敛与一致性。
• 通过分析对数似然泛函的导数，研究临界点结构，表明在临界点处，核矩阵 $K = L(I+L)^{-1}$ 的对角线元素必须与经验边际概率匹配。

实验结果

研究问题

• RQ1 离散 DPP 的最大似然估计（MLE）在何种条件下可实现参数收敛速率？
• RQ2 MLE 的渐近方差如何随问题维度变化？是否存在维度灾难的潜在风险？
• RQ3 DPP 的期望对数似然函数的全局几何结构是怎样的，特别是临界点的性质与数量如何？
• RQ4 所识别的指数级鞍点是否为似然函数的全部临界点？
• RQ5 尽管似然函数非凹，但基于函数景观的几何结构，MLE 是否仍可高效计算？

主要发现

• 当且仅当底层 DPP 满足与边际概率结构相关的特定组合条件时，DPP 的 MLE 才以参数速率收敛。
• MLE 的渐近方差随问题维度呈指数级增长，表明在高维 DPP 估计中可能存在维度灾难。
• 期望对数似然函数至少存在 $2^N$ 个鞍点，每个鞍点对应 DPP 在索引子集上的部分解耦为独立分量。
• 本文提供了强有力的证据表明，这些鞍点可能是似然函数的唯一临界点，这意味着优化算法可避免虚假局部极大值。
• MLE 几乎必然一致，且以概率收敛于真实参数，收敛速率通过紧致性与浓度论证得以确立。
• 对于不可约 DPP，每个子集 $J$ 上的核矩阵 $L_J$ 的 MLE 为 $n^{-1/2}$-一致，这在受限情况下确认了经典渐近结果。