[论文解读] Chebyshev polynomials, moment matching, and optimal estimation of the unseen

Yihong Wu, Pengkun Yang|arXiv (Cornell University)|Apr 6, 2015

Bayesian Methods and Mixture Models参考文献 38被引用 24

一句话总结

该论文提出了一种基于切比雪夫多项式与逼近理论的新型线性估计器，用于离散分布的支持集大小估计，实现了最优样本复杂度 $\frac{k}{\log k}\log^2\frac{1}{\epsilon}$，优于先前最优的 $\frac{k}{\epsilon^2\log k}$。该方法确保了 $O(n + \log^2 k)$ 的计算效率，并在渐近意义上将最小最大风险控制在六倍因子以内。

ABSTRACT

We consider the problem of estimating the support size of a discrete distribution whose minimum non-zero mass is at least $ \frac{1}{k}$. Under the independent sampling model, we show that the sample complexity, i.e., the minimal sample size to achieve an additive error of $εk$ with probability at least 0.1 is within universal constant factors of $ \frac{k}{\log k}\log^2\frac{1}ε $, which improves the state-of-the-art result of $ \frac{k}{ε^2 \log k} $ in \cite{VV13}. Similar characterization of the minimax risk is also obtained. Our procedure is a linear estimator based on the Chebyshev polynomial and its approximation-theoretic properties, which can be evaluated in $O(n+\log^2 k)$ time and attains the sample complexity within a factor of six asymptotically. The superiority of the proposed estimator in terms of accuracy, computational efficiency and scalability is demonstrated in a variety of synthetic and real datasets.

研究动机与目标

• 解决在最小非零概率至少为 $\frac{1}{k}$ 的前提下，估计离散分布支持集大小的根本挑战。
• 在独立抽样模型下，刻画支持集大小估计的最小最大风险与样本复杂度。
• 开发一种计算高效的估计器，实现最优或近似最优的样本复杂度。
• 利用逼近理论——特别是切比雪夫多项式及其性质——构建具有强理论保证的线性估计器。

提出的方法

• 所提出的估计器是指纹统计量的线性函数，指纹统计量用于统计样本中恰好出现 $j$ 次的符号数量。
• 使用 $L$ 次切比雪夫多项式来逼近函数 $f_j(x) = \mathbb{E}[\mathbf{1}_{\{\text{Poisson}(x) \geq j\}}]$，该函数建模了符号至少出现 $j$ 次的概率。
• 通过 $f_j$ 的 $L$ 阶导数来界定逼近误差，该导数以广义拉盖尔多项式表达。
• 在切比雪夫节点上应用插值误差界，以控制泊松化指纹与经验指纹之间的总变差距离。
• 最终估计器通过利用切比雪夫多项式的逼近理论性质，最小化期望平方误差构造而成。
• 计算复杂度为 $O(n + \log^2 k)$，通过高效计算基于切比雪夫的线性泛函实现。

实验结果

研究问题

• RQ1 在最小非零质量为 $\frac{1}{k}$ 的离散分布中，支持集大小估计的最优样本复杂度是什么？
• RQ2 基于切比雪夫多项式的线性估计器能否在此设定下实现最小最大最优性能？
• RQ3 在给定分布约束下，支持集大小估计的根本最小最大风险是多少？
• RQ4 与插补估计器相比，该方法在准确性和样本效率方面表现如何？
• RQ5 该估计器能否在保持理论最优性的同时实现高效计算？

主要发现

• 最小最大风险被刻画为 $R^*(k,n) = \exp\left(-\Theta\left(\sqrt{\frac{n\log k}{k}} \vee \frac{n}{k} \vee 1\right)\right)$，在非平凡区域中具有精确常数。
• 在 $\frac{k}{\log k} \ll n \ll k\log k$ 的区域中，最小最大风险为 $\exp\left(-\left(\sqrt{2}e + o(1)\right)\sqrt{\frac{n\log k}{k}}\right)$ 到 $\exp\left(-\left(1.579 + o(1)\right)\sqrt{\frac{n\log k}{k}}\right)$ 之间。
• 所提出的估计器实现了 $\frac{k}{\log k}\log^2\frac{1}{\epsilon}$ 的样本复杂度，优于先前的 $\frac{k}{\epsilon^2\log k}$ 边界。
• 该估计器计算高效，运行时间为 $O(n + \log^2 k)$，可扩展至大规模数据集。
• 在合成数据集和真实世界数据集上，该方法在准确性和可扩展性方面均优于现有估计器。
• 理论分析证实，当 $n \lesssim \frac{k}{\log k}$ 时，不存在一致估计器，确立了根本限制。