[论文解读] A Very Efficient Scheme for Estimating Entropy of Data Streams Using Compressed Counting

Ping Li|ArXiv.org|Aug 13, 2008

Data Stream Mining Techniques参考文献 30被引用 4

一句话总结

本文提出压缩计数（CC），一种基于最大偏斜稳定随机投影的高效算法，用于在数据流中估计熵。CC 显著优于对称稳定随机投影，尤其在 α→1 时表现突出，仅使用 k=20 个样本即可实现低于 1% 的相对误差，使其非常适合实时网络和网络数据的分析。

ABSTRACT

Compressed Counting (CC)} was recently proposed for approximating the $α$th frequency moments of data streams, for $0

研究动机与目标

• 评估压缩计数（CC）在真实世界数据流中估计香农熵、Rényi 熵和 Tsallis 熵的实用性和准确性。
• 解决在 α≈1 时通过 α 阶频率矩估计香农熵的挑战，此时传统对称稳定随机投影因样本需求过高而失效。
• 为使用 CC 和对称稳定投影进行熵估计时的方差-偏差权衡提供实证和理论指导。
• 推荐高精度、低存储的实时应用中熵估计的最优配置（例如，α≈0.98–0.99，最优分位数估计器）。

提出的方法

• 利用压缩计数（CC），一种基于最大偏斜稳定随机投影的随机化算法，估计 0<α≤2 范围内的 α 阶频率矩 F_(α)。
• 将 CC 应用于估计 Rényi 熵 H_α = 1/(1−α) log(F_(α)/F_(1)^α) 和 Tsallis 熵 T_α = 1/(α−1) (1−F_(α)/F_(1)^α)，二者在 α→1 时均收敛于香农熵 H。
• 在 CC 中使用最优分位数估计器，以最小化熵估计的均方误差（MSE），其表现优于几何平均和调和平均估计器。
• 利用真实网络爬取数据，对不同样本大小（k）和 α 值下的 CC 和对称稳定随机投影进行实证评估。
• 在宽松的严格转移动态模型下，比较 CC 与对称稳定随机投影在估计精度和所需样本量方面的表现。
• 通过将 α 从 1 偏离以改善对称稳定投影的性能，分析方差-偏差权衡。

实验结果

研究问题

• RQ1 当 α→1 时，压缩计数（CC）与对称稳定随机投影在估计频率矩方面有何比较？
• RQ2 使用 CC 估计香农熵时，最小化估计误差的最优配置（α、估计器类型、样本大小 k）是什么？
• RQ3 CC 是否能在真实世界数据流中以极小的样本量（例如 k=20）实现高精度的熵估计？
• RQ4 使用对称稳定随机投影并取 α=1+δ 且 |δ| 极小，是否是估计香农熵的实用方法？
• RQ5 通过 CC 估计时，Rényi 熵与 Tsallis 熵作为香农熵的近似，其表现如何比较？

主要发现

• 当 k≤10^3 时，CC 相比对称稳定随机投影将频率矩估计的均方误差（MSE）降低了 20 至 50 倍；在 k=10^4 时，降低 5 至 15 倍。
• 当 k=20 时，CC 实现了香农熵估计的相对误差低于 1%，而对称稳定随机投影至少需要 50 倍以上的样本才能达到类似精度。
• 在从 Tsallis 熵估计香农熵时，即使使用 500 倍于 CC 的样本，对称稳定随机投影也无法达到 CC 的精度。
• 在 α<1 且 k>20 的条件下，CC 中的最优分位数估计器显著优于几何平均和调和平均估计器，尤其在 α→1 附近表现更优。
• 使用 CC 时，通过 Rényi 熵估计香农熵比通过 Tsallis 熵更准确，因此 Rényi 是更优的近似路径。
• 使用对称稳定随机投影并取 α=1+δ 且 |δ| 极小的方法不切实际，因其需要极大的样本量；而 CC 可在极低存储下实现高精度。