[论文解读] Large Alphabet Compression and Predictive Distributions through Poissonization and Tilting

Xiao Yang, Andrew R. Barron|arXiv (Cornell University)|Jan 15, 2014

Algorithms and Data Compression参考文献 10被引用 4

一句话总结

该论文提出了一种基于泊松化与倾斜变换的方法，用于对大字母表上的独立同分布序列进行通用压缩与预测，其中序列长度为可变。通过将计数建模为独立的泊松分布并应用指数倾斜，该方法在满足矩条件的分布类中实现了极小最大遗憾，并在所有独立同分布分布中接近最优，对包络类和幂律分布字母表提供了冗余的显式界。

ABSTRACT

This paper introduces a convenient strategy for coding and predicting sequences of independent, identically distributed random variables generated from a large alphabet of size $m$. In particular, the size of the sample is allowed to be variable. The employment of a Poisson model and tilting method simplifies the implementation and analysis through independence. The resulting strategy is optimal within the class of distributions satisfying a moment condition, and is close to optimal for the class of all i.i.d distributions on strings of a given length. Moreover, the method can be used to code and predict strings with a condition on the tail of the ordered counts. It can also be applied to distributions in an envelope class.

研究动机与目标

• 为序列长度未预先确定的大字母表上的独立同分布序列，开发一种通用编码与预测策略。
• 通过为总长度 N 引入泊松模型，解决通用编码中可变长度字符串的挑战。
• 在满足字母表概率矩条件的分布类中，实现极小最大遗憾性能。
• 将该方法扩展至处理有序计数尾部及包络类中分布的约束。
• 为所提出的编码方案提供理论冗余界，尤其在幂律与齐普夫型分布下。

提出的方法

• 将总序列长度 N 建模为泊松随机变量，从而在符号计数 N_j 之间诱导独立性。
• 对每个符号计数 N_j 使用参数为 λ_j 的独立泊松分布，使得给定 N=n 时的条件分布为多项分布。
• 通过引入倾斜参数 a，对泊松计数应用指数倾斜，构造满足包络约束 f(j) 的倾斜分布 P_a(N_j)。
• 通过将给定计数下字符串的均匀分布与计数的倾斜泊松模型相结合，构建通用码 Q。
• 通过优化倾斜参数 a 来最小化期望遗憾（冗余），从而得到最优 a* 的闭式近似。
• 利用斯特林公式和倾斜分布归一化常数 C_a,j 的积分界，推导遗憾的界。

实验结果

研究问题

• RQ1 当序列长度 N 事先未知时，能否为大字母表上的独立同分布序列设计一种通用编码方案？
• RQ2 如何在所有给定长度字符串的独立同分布分布类中最小化极小最大遗憾，特别是当 N 为随机变量时？
• RQ3 当字母表概率服从幂律或齐普夫定律时，所提出的泊松化与倾斜方法的性能如何？
• RQ4 在对有序计数尾部施加约束（如限制稀有符号的频率）时，该方法表现如何？
• RQ5 该方法能否在由 f(j) 定义的包络类（其中 λ_j ≤ n f(j)）中实现接近最优的冗余？

主要发现

• 所提方法在满足矩条件的分布类中实现了极小最大遗憾，遗憾界为与 m 和 n 无关的常数。
• 对于包络类，当倾斜参数 a 被最优选择时，冗余界为 O(1)，并通过斯特林公式推导出显式上界。
• 遗憾表达式 na log e + ∑ log C_a,j 在 a* ≈ L / (2(n - ∑_{j>L} n f(j))) 处最小化，其中 L 为满足 f(j) > 0 的符号数量。
• 该方法在固定长度字符串的独立同分布分布中实现了近似最优，冗余接近理论最小值。
• 对于幂律分布字母表，由于倾斜泊松模型的结构与包络约束，该方法保持了较低的遗憾。
• 对归一化常数 C_a,j 的界是紧致的：当 nf(j) 较大时，C_a,j ≤ 1 + 1/√(2πa)；当 nf(j) 较小时，C_a,j ≤ e^{n f(j)}，从而实现有效的遗憾控制。