[论文解读] A Natural Law of Succession

Eric Sven Ristad|ArXiv.org|Aug 30, 1995

Algorithms and Data Compression参考文献 7被引用 46

一句话总结

本文提出了一种用于多项式概率估计的新型‘自然继承律’，相较于拉普拉斯律和利德斯通律，通过引入关于有限字母表和非均匀符号使用的先验知识，实现了更优表现。该文在理论上和实证上均证明，自然继承律能最小化预测误差，并在多种真实文件中实现更优的数据压缩效果，且性能提升随字符串长度和字母表大小而增强。

ABSTRACT

Consider the problem of multinomial estimation. You are given an alphabet of k distinct symbols and are told that the i-th symbol occurred exactly n_i times in the past. On the basis of this information alone, you must now estimate the conditional probability that the next symbol will be i. In this report, we present a new solution to this fundamental problem in statistics and demonstrate that our solution outperforms standard approaches, both in theory and in practice.

研究动机与目标

• 解决在有限字符串中基于观测频率估计离散符号条件概率的根本问题。
• 开发一种无需参数的概率模型，反映自然数据中符号使用的真实假设，例如非均匀的字母表覆盖。
• 提供一种理论基础坚实的拉普拉斯律和利德斯通律的替代方案，避免对新事件的过度估计和对常见事件的低估。
• 通过数据压缩的实证验证，证明新律在预测准确性方面的优越性，而数据压缩是预测准确性的直接度量。
• 证明自然律在有限字符串上分配的概率值，与任何其他函数的分配结果均在常数因子范围内，即使在不假设收敛的情况下亦成立。

提出的方法

• 提出一种基于字母表中所有可能符号基数均匀分布的先验分布，而非符号概率的均匀分布。
• 在该非信息性先验下推导出自然继承律作为贝叶斯估计，得出公式：当基数均匀时，p(i|n_i, n, k) = (n_i + 1) / (n + k)，并针对均匀子集情况推导出更精细的版本。
• 将该律应用于时间序列预测和分类中的多项式估计，建模状态转移和类别成员概率。
• 通过在卡尔加里语料库上的数据压缩性能评估，将自然律与拉普拉斯律、利德斯通律及四种启发式估计规则进行比较。
• 使用经验熵作为下界，并以相对于经验分布的压缩字节数衡量压缩增益。
• 分析失败案例（如高度非平稳文件如'progl'和'pic'），以评估方法的鲁棒性与局限性。

实验结果

研究问题

• RQ1 如何改进拉普拉斯律和利德斯通律在有限字符串中估计多项式概率的表现？
• RQ2 哪种先验分布最能反映‘并非所有字母表符号都会出现在有限字符串中’这一自然假设？
• RQ3 是否存在一种无需参数的继承律，能在理论上和实践中均优于标准方法？
• RQ4 自然律在真实世界数据压缩任务中，能在多大程度上减少预测误差？
• RQ5 自然律在压缩效率方面，与四种启发式估计规则相比表现如何？

主要发现

• 自然继承律，特别是均匀基数变体，在卡尔加里语料库中实现了最佳整体压缩效果，相较于拉普拉斯律，在'bib'文件上最多节省177字节。
• 自然继承律在卡尔加里语料库全部19个文件中始终排名第一或第二，其中均匀基数律最为有效，均匀子集律位居第二。
• 拉普拉斯律整体表现最差，对于有限字符串，其压缩损失随字符串增长而无界扩大，尤其在新符号稀少时更为明显。
• 在'pic'文件中，由于前52,422字节仅包含三个不同字符，自然律表现略逊，这是由于对早期模式的过度自信所致，但此问题归因于文件的非平稳性，而非方法本身的缺陷。
• 自然律的总概率分配值与任何其他概率函数的分配结果均在常数因子范围内，证明其在有限字符串上的理论鲁棒性。
• 在四种替代方法中，方法D表现最佳，但仍显著落后于自然律，尤其在结构化文件如'bib'和'book1'上。