[论文解读] Geometry of Log-Concave Density Estimation

Elina Robeva, Bernd Sturmfels+1 more|arXiv (Cornell University)|Apr 6, 2017

Topological and Geometric Data Analysis参考文献 9被引用 4

一句话总结

本文通过证明在 $ℝ^d$ 中任意点配置的每个正则多面体剖分均可作为某个正权向量的最优对数凹密度估计器，建立了非参数统计与几何组合学之间的几何联系。作者引入了Samworth体——次级多面体的连续类比——以表征产生每种剖分的权向量空间，表明在权向量均匀采样下，较粗的剖分比更细的剖分在统计上更可能被观测到。

ABSTRACT

Shape-constrained density estimation is an important topic in mathematical statistics. We focus on densities on $\mathbb{R}^d$ that are log-concave, and we study geometric properties of the maximum likelihood estimator (MLE) for weighted samples. Cule, Samworth, and Stewart showed that the logarithm of the optimal log-concave density is piecewise linear and supported on a regular subdivision of the samples. This defines a map from the space of weights to the set of regular subdivisions of the samples, i.e. the face poset of their secondary polytope. We prove that this map is surjective. In fact, every regular subdivision arises in the MLE for some set of weights with positive probability, but coarser subdivisions appear to be more likely to arise than finer ones. To quantify these results, we introduce a continuous version of the secondary polytope, whose dual we name the Samworth body. This article establishes a new link between geometric combinatorics and nonparametric statistics, and it suggests numerous open problems.

研究动机与目标

• 建立对数凹密度最大似然估计与正则多面体剖分理论之间的严格联系。
• 证明在 $ℝ^d$ 中任意点配置的每个正则剖分均可作为某个正权向量的最优对数凹密度估计器。
• 引入并分析Samworth体——次级多面体的连续类比——作为一个几何对象，编码权空间中最优剖分的分布。
• 量化在权向量空间均匀采样下不同剖分的出现概率，表明较粗的剖分比更细的剖分更可能被观测到。

提出的方法

• 作者通过在对数凹密度的最大似然估计问题中允许任意正权，推广了Cule、Samworth和Stewart的结果。
• 他们将Samworth体 $ℝ(X)$ 定义为对应于产生给定正则剖分的可行权向量的 $ℝ^n$ 的凸子集。
• 利用拉格朗日乘数法和体积积分，通过Samworth体的对偶，推导出对数似然问题的无约束优化形式。
• 通过构造显式权向量实现任意给定剖分，证明了从权向量到正则剖分的映射是满射。
• 引入次级多面体的连续版本，并用其建模在权空间均匀采样下剖分的概率分布。
• 通过分析 $ℝ^d$ 中 $d+2$ 个点的临界配置，证明即使在对称权下，非平凡剖分仍可出现，使用了显式的体积和指数函数恒等式。

实验结果

研究问题

• RQ1 在 $ℝ^d$ 中任意点配置的每个正则多面体剖分是否均可作为某个正权向量的最优对数凹密度估计器？
• RQ2 产生给定正则剖分的权向量集合的几何结构是什么？
• RQ3 在权单纯形上均匀采样下，观测到特定剖分的概率如何随剖分复杂度变化？
• RQ4 在 $ℝ^d$ 中，使得给定数量 $c$ 个单元出现在单位权下的最优剖分中，最少需要多少个点 $n$？
• RQ5 哪些单形多面体可作为 $ℝ^d$ 中点配置在均匀权下的正则剖分实现？

主要发现

• 在 $ℝ^d$ 中任意点配置 $X$ 的每个正则多面体剖分均可作为某个正权向量 $w \in ℝ^n_{>0}$ 的最优对数凹密度估计器，证明了权向量到剖分的映射是满射。
• Samworth体 $ℝ(X)$ 是 $ℝ^n$ 中的一个凸体，用于参数化产生给定正则剖分的权向量集合，其对偶提供了次级多面体的连续推广。
• 对于 $d \geq 2$，存在 $ℝ^d$ 中 $d+3$ 个点的配置，在单位权下可产生非平凡（非平面）剖分，表明即使在对称权下，复杂结构仍可出现。
• 在权单纯形上均匀采样下，观测到较粗剖分的概率高于观测到较细剖分的概率，表明统计上存在向更简单结构的偏倚。
• 对于 $ℝ^d$ 中 $d+2$ 个点的特定配置，当且仅当最后一个点的权重大于其余每个点权的 $\frac{d+1}{d}$ 倍时，最优剖分是依次省略前 $d+1$ 个点的三角剖分。
• 本文证明了最优剖分为平凡的配置集合在配置空间中是闭集，意味着在点集的小扰动下，非平凡剖分是通用的。