[论文解读] A Unified Maximum Likelihood Approach for Optimal Distribution Property Estimation

Jayadev Acharya, Hirakendu Das+2 more|arXiv (Cornell University)|Nov 9, 2016

Bayesian Methods and Mixture Models参考文献 3被引用 9

一句话总结

本文提出了一种统一的最大似然框架，利用轮廓最大似然（Profile Maximum Likelihood, PML）来最优估计大字母表上的对称分布属性——如熵、支持集大小、支持集覆盖率以及与均匀性的距离。该文证明PML实现了最优样本复杂度和误差界，其表现与性能更优的专用估计器相当或更优，且分析过程更为简洁，基于插补法。

ABSTRACT

The advent of data science has spurred interest in estimating properties of distributions over large alphabets. Fundamental symmetric properties such as support size, support coverage, entropy, and proximity to uniformity, received most attention, with each property estimated using a different technique and often intricate analysis tools. We prove that for all these properties, a single, simple, plug-in estimator---profile maximum likelihood (PML)---performs as well as the best specialized techniques. This raises the possibility that PML may optimally estimate many other symmetric properties.

研究动机与目标

• 在单一、有原则的框架下统一估计对称分布属性。
• 证明轮廓最大似然（PML）在熵、支持集大小和支持集覆盖率等关键属性上实现了最优样本复杂度。
• 表明基于PML的估计器在性能上可与专用的复杂技术相媲美或超越，且分析过程更简单，仅依赖插补法。
• 建立PML在任何对称属性估计中均具竞争力，暗示其具有广泛适用性。
• 利用McDiarmid不等式及基于轮廓的改进方法，分析PML估计器的集中性和偏差。

提出的方法

• 提出一种基于轮廓最大似然（PML）的插补估计器，其通过最大化观测到的频率轮廓的似然来实现。
• 以经验频率分布为基线，随后通过PML进行优化，以提升估计精度。
• 应用McDiarmid不等式来界定PML估计器与其期望值的偏离，利用样本变化中差异有界的特性。
• 对现有样本最优估计器进行改进，确保其对单一样本变化的敏感度（有界$ c_* $）较小，从而获得强集中界。
• 引入$\beta$-近似PML分布的概念，以处理精确PML计算不可行的问题，同时保持误差保证。
• 证明在最优样本复杂度下，PML估计器的误差界为$4\varepsilon$，且以高概率（$1 - \exp(-\sqrt{n})$）成立。

实验结果

研究问题

• RQ1 能否基于最大似然的单一统一估计器，在多个对称分布属性上实现最优性能？
• RQ2 轮廓最大似然（PML）是否在熵、支持集大小和支持集覆盖率上达到或超越专用估计器的样本复杂度和误差界？
• RQ3 在有界样本扰动下，PML估计器的集中行为如何？其可否用于建立概率误差界？
• RQ4 PML能否扩展至估计任意对称分布属性，实现近似最优样本复杂度和低偏差？
• RQ5 误差界中对$\varepsilon \gtrsim 1/n^{0.25-\eta}$的要求是否为证明技术的副产品，还是反映了根本性限制？

主要发现

• PML在估计熵、支持集大小、支持集覆盖率以及与均匀性的距离方面实现了最优样本复杂度，其结果与文献中已知的最佳界相当。
• 基于PML的估计器在使用最优样本数时，以至少$1 - \exp(-\sqrt{n})$的概率将误差控制在$4\varepsilon$以内。
• PML估计器的偏差被限制在$\varepsilon$以内，且对任一单一样本变化的敏感度至多为$O(n^{0.1}/n)$，从而可通过McDiarmid不等式实现强集中性。
• PML方法在任何对称属性估计中均具竞争力，暗示其可能对一大类此类属性为最优。
• 理论分析表明，即使使用$\beta$-近似PML分布（当精确PML计算不可行时），只要$\beta > \exp(-\sqrt{n})$，仍可保持高概率误差界。
• 结果表明，$\varepsilon$的下限可能为证明技术的副产品，PML可能在所有$\varepsilon$范围内均为最优。