[论文解读] Data Amplification: A Unified and Competitive Approach to Property Estimation

Hao Yi, Alon Orlitsky+2 more|arXiv (Cornell University)|Mar 29, 2019

Machine Learning and Algorithms被引用 5

一句话总结

本文提出了一种统一的、线性时间的属性估计器——数据增强（Data Amplification），其性能与使用 $n\sqrt{\log n}$ 个样本的经验估计器相当，但仅需 $2n$ 个样本。该方法实现了分布无关的数据增强，在多种属性和分布上均优于现有估计器，通常可达到或超过使用 $n\log n$ 个样本的专用估计器的性能。

ABSTRACT

Estimating properties of discrete distributions is a fundamental problem in statistical learning. We design the first unified, linear-time, competitive, property estimator that for a wide class of properties and for all underlying distributions uses just $2n$ samples to achieve the performance attained by the empirical estimator with $n\sqrt{\log n}$ samples. This provides off-the-shelf, distribution-independent, "amplification" of the amount of data available relative to common-practice estimators. We illustrate the estimator's practical advantages by comparing it to existing estimators for a wide variety of properties and distributions. In most cases, its performance with $n$ samples is even as good as that of the empirical estimator with $n\log n$ samples, and for essentially all properties, its performance is comparable to that of the best existing estimator designed specifically for that property.

研究动机与目标

• 开发一种单一的、与分布无关的估计器，以提升离散分布属性估计的数据效率。
• 将现有属性估计方法统一到一个框架中，适用于广泛的对称与非对称可加属性。
• 在保持线性时间复杂度和实现简单性的同时，实现与现有估计器相当的性能。
• 证明单一估计器可在多种属性和分布上匹配或超越专用估计器的性能。

提出的方法

• 所提出的估计器记为 $f^*$，采用数据增强框架，利用泊松抽样建模样本计数，以减少符号频率之间的依赖性。
• 引入两个关键参数 $t$ 和 $s_0$，其为数据相关参数，通过独立数据进行调优，以在不同属性上实现最优性能。
• 通过使用修正版本的 $t$ 并结合衰减因子 $1.5^{v-1}$ 计算系数 $h_{x,v}$，以平衡各频率区间的敏感度。
• 所有属性均采用统一的估计器形式，仅在 $t$ 和 $s_0$ 的选择上有所不同，从而实现即插即用，无需针对特定属性调优。
• 理论分析表明，$f^*$ 使用 $2n$ 个样本时，在所有分布中最坏情况下的性能等同于经验估计器使用 $n\sqrt{\log n}$ 个样本时的性能。
• 实验验证使用独立数据选择 $t$ 和 $s_0$，确保无过拟合，并与最先进的估计器（包括 PML、JVHW、WY 和 SGT）进行性能比较。

实验结果

研究问题

• RQ1 单一统一的估计器是否能在无需针对特定属性设计的情况下，实现对多种分布属性的竞争力性能？
• RQ2 数据效率可被增强到何种程度，使得 $2n$ 个样本在最坏情况下可达到 $n\sqrt{\log n}$ 个样本的性能？
• RQ3 统一估计器在不同分布和属性上的性能与专用估计器相比如何？
• RQ4 该估计器是否能在不事先了解底层分布的情况下，对均匀与非均匀分布均保持强大性能？

主要发现

• 所提出的估计器 $f^*$ 使用 $2n$ 个样本，在所有测试属性和分布上，性能与使用 $n\sqrt{\log n}$ 个样本的经验估计器相当。
• 对于大多数属性和分布，$f^*$ 使用 $n$ 个样本时的性能与经验估计器使用 $n\log n$ 个样本时相当，表明实际中实现了超越理论保证的数据增强。
• 在实验中，$f^*$ 在全部六个属性（包括香农熵、归一化支持大小和与均匀分布的距离）上均优于或匹配了现有最佳估计器（如 PML、WY、SGT）。
• 最优参数 $t$ 和 $s_0$ 落在 $\log^{1-\alpha}n+1$ 和 $c\log^{0.2}n$ 范围内，且 $\alpha \in [0, 0.3]$，表明实际中实现了超越 $n\sqrt{\log n}$ 的增强效果。
• 在归一化支持覆盖率方面，新估计器在所有分布中几乎均为最佳，甚至优于专用估计器。
• 该估计器在不同均匀性程度的分布上均表现出稳定且一致的性能，证实了其鲁棒性与通用性。