[论文解读] Approximation and Estimation of s-Concave Densities via Rényi Divergences

Qiyang Han, Jon A. Wellner|arXiv (Cornell University)|May 2, 2015

Risk and Portfolio Optimization参考文献 24被引用 6

一句话总结

本文提出了一种基于Rényi散度的方法，用于近似和估计s-凹密度，在较弱条件下建立了存在性、唯一性和一致性。研究表明，当s ↗ 0时，Rényi散度估计器收敛于对数凹密度的最大似然估计器（MLE），从而实现了形状约束下的渐近分布理论和众数估计。

ABSTRACT

In this paper, we study the approximation and estimation of $s$-concave densities via Rényi divergence. We first show that the approximation of a probability measure $Q$ by an $s$-concave densities exists and is unique via the procedure of minimizing a divergence functional proposed by Koenker and Mizera (2010) if and only if $Q$ admits full-dimensional support and a first moment. We also show continuity of the divergence functional in $Q$: if $Q_n o Q$ in the Wasserstein metric, then the projected densities converge in weighted $L_1$ metrics and uniformly on closed subsets of the continuity set of the limit. Moreover, directional derivatives of the projected densities also enjoy local uniform convergence. This contains both on-the-model and off-the-model situations, and entails strong consistency of the divergence estimator of an $s$-concave density under mild conditions. One interesting and important feature for the Rényi divergence estimator of an $s$-concave density is that the estimator is intrinsically related with the estimation of log-concave densities via maximum likelihood methods. In fact, we show that for $d=1$ at least, the Rényi divergence estimators for $s$-concave densities converge to the maximum likelihood estimator of a log-concave density as $s earrow 0$. The Rényi divergence estimator shares similar characterizations as the MLE for log-concave distributions, which allows us to develop pointwise asymptotic distribution theory assuming that the underlying density is $s$-concave.

研究动机与目标

• 通过最小化Rényi散度，开发一种针对s-凹密度的一致且行为良好的估计程序。
• 建立Rényi散度投影到s-凹密度类上的理论基础——存在性、唯一性和连续性。
• 通过证明当s ↗ 0时Rényi散度估计器收敛于对数凹密度的最大似然估计器（MLE），弥合Rényi散度估计器与MLE之间的差距。
• 在真实密度为s-凹密度的假设下，推导估计器的逐点渐近分布理论。
• 通过所提出的基于散度的估计器，实现对s-凹密度众数及其他特征的推断。

提出的方法

• 通过在s-凹密度类上最小化Rényi散度泛函，将给定概率测度Q投影到s-凹密度类上。
• 利用Koenker和Mizera（2010）的散度最小化框架，将Rényi散度估计器定义为基于广义熵差异的最小化解。
• 借助凸分析和支持条件，证明当Q具有全维支撑且具有一阶矩时，投影的存在性与唯一性。
• 在Q沿Wasserstein度量收敛的条件下，建立加权L1范数和一致范数下的收敛性。
• 分析投影密度的方向导数，以证明局部一致收敛性。
• 通过证明在一元情形下当s ↗ 0时Rényi估计器收敛，建立Rényi估计器与对数凹密度MLE之间的联系。

实验结果

研究问题

• RQ1 在何种条件下，概率测度Q到s-凹密度类的Rényi散度投影存在且唯一？
• RQ2 当底层测度Q弱收敛时，Rényi散度估计器的行为如何，特别是在L1范数和一致收敛性方面？
• RQ3 当s ↗ 0时，Rényi散度估计器的极限行为是什么？它与对数凹密度的最大似然估计器有何关系？
• RQ4 在真实密度为s-凹密度的假设下，能否为Rényi散度估计器建立逐点渐近分布理论？
• RQ5 当Qn收敛时，投影密度的方向导数行为如何？这对局部估计性质有何影响？

主要发现

• 当且仅当Q具有全维支撑且具有第一阶矩时，概率测度Q到s-凹密度类的Rényi散度投影存在且唯一。
• 若Qn → Q在Wasserstein度量下收敛，则相应的投影密度在加权L1范数下收敛，并在极限的连续性集的紧子集上一致收敛。
• 在Qn的相同收敛条件下，投影密度的方向导数也实现局部一致收敛。
• 在一维情形下，s-凹密度的Rényi散度估计器在s ↗ 0时收敛于对数凹密度的最大似然估计器。
• Rényi散度估计器继承了对数凹密度MLE的类似刻画特性，从而支持逐点渐近分布理论的建立。
• 在较弱正则性条件下，估计器是强一致的，其极限行为与底层测度的维数和支撑结构密切相关。