[论文解读] Data Amplification: Instance-Optimal Property Estimation

Hao Yi, Alon Orlitsky|arXiv (Cornell University)|Mar 4, 2019

Machine Learning and Algorithms参考文献 34被引用 5

一句话总结

本文提出了数据增强估计器，可在离散分布属性（如香农熵、支持集大小、覆盖率和ℓ₁距离）的估计中实现实例最优性能。通过利用一种新颖的线性时间算法，估计器能将数据量以对数因子进行增强，仅用 n 个样本即可达到使用 n log n 个样本的经验插补估计器的精度，且这一改进对每个独立分布均成立，而不仅限于最坏情况。

ABSTRACT

The best-known and most commonly used distribution-property estimation technique uses a plug-in estimator, with empirical frequency replacing the underlying distribution. We present novel linear-time-computable estimators that significantly "amplify" the effective amount of data available. For a large variety of distribution properties including four of the most popular ones and for every underlying distribution, they achieve the accuracy that the empirical-frequency plug-in estimators would attain using a logarithmic-factor more samples. Specifically, for Shannon entropy and a very broad class of properties including $\ell_1$-distance, the new estimators use $n$ samples to achieve the accuracy attained by the empirical estimators with $n\log n$ samples. For support-size and coverage, the new estimators use $n$ samples to achieve the performance of empirical frequency with sample size $n$ times the logarithm of the property value. Significantly strengthening the traditional min-max formulation, these results hold not only for the worst distributions, but for each and every underlying distribution. Furthermore, the logarithmic amplification factors are optimal. Experiments on a wide variety of distributions show that the new estimators outperform the previous state-of-the-art estimators designed for each specific property.

研究动机与目标

• 解决传统极小化-极大估计器对简单、真实世界分布过于悲观的问题。
• 设计一种估计器，对每个底层分布，仅用 n 个样本即可达到使用 n log n 个样本的经验估计器的精度。
• 消除对已知字母表大小或最小概率阈值等不现实假设的依赖。
• 提供一个统一的、实例最优的框架，适用于广泛类别的分布属性，包括熵、支持集大小、覆盖率和ℓ₁距离。
• 证明对数增强因子在信息论上是最优的，无法进一步改进。

提出的方法

• 提出一种可在线性时间内计算的估计器，利用泊松化技术建模采样计数，以实现分析上的可处理性。
• 采用基于经验频率的偏差校正、平滑估计器，其校正项由采样计数的泊松近似推导得出。
• 引入一种新颖的数据增强框架，将每个分布实例独立处理，确保实例级别的最优性。
• 利用多项分布计数的负相关性性质，控制覆盖度和支撑集大小估计器中的方差与估计误差。
• 应用詹森不等式和浓度不等式，控制所提估计器与经验估计器之间的平均绝对偏差。
• 通过将误差归一化为真实属性值，推导出紧致的误差界，从而实现相对误差保证。

实验结果

研究问题

• RQ1 我们能否设计一种分布属性估计器，对每个独立分布，仅用 n 个样本即可达到使用 n log n 个样本的经验估计器的精度？
• RQ2 是否可能在支撑集大小和覆盖率估计中消除对已知字母表大小或最小概率阈值等假设的需求？
• RQ3 能否将增强因子从 √log n 提升至 log n，且该界在信息论上是否最优？
• RQ4 在多种分布下，所提估计器与最先进估计器相比，在误差和样本效率方面表现如何？
• RQ5 是否能在不牺牲计算效率或无需事先了解分布结构的情况下实现实例最优性？

主要发现

• 所提估计器对每个底层分布，仅用 n 个样本即可达到使用 n log n 个样本的经验插补估计器的期望估计误差。
• 对数增强因子 log n 在信息论上是最优的，无法进一步改进。
• 对于香农熵和ℓ₁距离，新估计器仅用 n 个样本即可达到使用 n log n 个样本的经验估计器的性能。
• 对于支撑集大小和覆盖率，误差被控制在 ±εS 以内，其中 S 为真实支撑集大小，即使在 S ≪ k 时也能实现精确估计。
• 估计器计算高效，时间复杂度为 O(n)，在多种分布上的实验中优于以往最先进估计器。
• 当样本量较小时，该框架表现稳健，即使在 n < k/log k 时仍能提供保证，而以往方法则无法做到。