[论文解读] Rates of estimation for determinantal point processes

Victor-Emmanuel Brunel, Ankur Moitra+2 more|arXiv (Cornell University)|Jun 3, 2017

Random Matrices and Applications参考文献 29被引用 6

一句话总结

本文对离散确定性点过程（DPP）的最大似然估计量（MLE）进行了严格的统计分析，建立了 MLE 实现参数收敛速率的条件。研究发现存在维度灾难现象：即使收敛速度为参数级，MLE 的渐近方差仍随维度呈指数增长。

ABSTRACT

Determinantal point processes (DPPs) have wide-ranging applications in machine learning, where they are used to enforce the notion of diversity in subset selection problems. Many estimators have been proposed, but surprisingly the basic properties of the maximum likelihood estimator (MLE) have received little attention. In this paper, we study the local geometry of the expected log-likelihood function to prove several rates of convergence for the MLE. We also give a complete characterization of the case where the MLE converges at a parametric rate. Even in the latter case, we also exhibit a potential curse of dimensionality where the asymptotic variance of the MLE is exponentially large in the dimension of the problem.

研究动机与目标

• 理解离散确定性点过程（DPP）的最大似然估计量（MLE）的统计性质，DPP 在机器学习中被日益用于实现多样性诱导的子集选择。
• 刻画期望对数似然函数的局部几何结构，以确定 MLE 实现参数收敛速率的条件。
• 量化 MLE 的渐近方差，并识别控制其大小的组合参数，特别是在高维设置下。
• 研究 DPP 估计中是否存在‘维度灾难’，即在参数收敛条件下，渐近方差仍随维度 N 呈指数增长。

提出的方法

• 采用信息几何方法，研究期望对数似然函数在其全局最大值附近的曲率。
• 通过对数似然函数的强凸性分析，推导 MLE 渐近方差的下界。
• 应用渐近统计理论工具，包括 van der Vaart（1998）的定理 5.14 和定理 5.41，以建立一致性和渐近正态性。
• 通过对角缩放矩阵 $ D \to \tilde{L} = D \tilde{L} D $ 引入归一化步骤，以处理 DPP 参数化中的不变性。
• 分析费雪信息矩阵及其可逆性，以确定 MLE 是否为 $ \sqrt{n} $-一致。
• 利用真实核 $ L^* $ 的分块对角结构，分别分析不同块的估计速率，区分块间与块内估计。

实验结果

研究问题

• RQ1 在何种条件下，DPP 的最大似然估计量以参数速率 $ n^{-1/2} $ 收敛？
• RQ2 DPP 核 $ L^* $ 的哪些组合或结构特性控制 MLE 的渐近方差？
• RQ3 MLE 是否遭受维度灾难，即当收敛速率是参数级时，渐近方差是否仍随维度 $ N $ 呈指数增长？
• RQ4 当 $ L^* $ 为分块对角但不可约时，核的不同块的估计速率有何差异？
• RQ5 当 $ L^* $ 不可约时，MLE 是否渐近正态？其渐近协方差算子的形式如何？

主要发现

• 当且仅当真实核 $ L^* $ 不可约时，DPP 的 MLE 以参数速率 $ n^{-1/2} $ 收敛，此结论由定理 3 确立。
• 当 $ L^* $ 不可约时，MLE $ \tilde{L} $ 渐近服从正态分布，其渐近协方差算子为 $ V(L^*) $，如定理 7 所示。
• 对于不可约且非退化的 $ L^* $，$ \sqrt{n} \cdot \mathrm{Tr}[(\tilde{L} - L^*)^\top H] $ 的渐近方差至少为 $ c^N $（其中 $ c > 1 $），表明存在指数级维度灾难。
• 当 $ L^* $ 为分块对角时，块间条目 $ \hat{L}_{J,J'} $ 的 MLE 收敛速率为 $ O_{\mathrm{P}}(n^{-1/6}) $，而块内条目 $ \hat{L}_J $ 的收敛速率更快，为 $ n^{-1/2} $。
• 费雪信息矩阵可逆当且仅当 $ L^* $ 不可约，这是 $ \sqrt{n} $-一致性的充要条件。
• MLE 的渐近方差受对数似然函数强凸性常数的控制，该常数在命题 4 中被定量界定，并与 $ L^* $ 的组合结构相关联。