[论文解读] Integer Coding with Nonlinear Costs

Michael B. Baer|arXiv (Cornell University)|Nov 1, 2005

Algorithms and Data Compression被引用 5

一句话总结

该论文针对非线性目标函数下的整数信源提出了最优编码方案，特别是 $β$-指数均值，采用定制化算法处理几何分布和轻尾分布（包括泊松分布），并扩展至字母码和冗余最小化。主要贡献是通过优化缓冲区溢出概率，为单次通信中的消息丢失问题提供了一个最小化框架。

ABSTRACT

Let $P = \{p(i)\}$ be a measure of strictly positive probabilities on the set of nonnegative integers. Although the countable number of inputs prevents usage of the Huffman algorithm, there are nontrivial $P$ for which known methods find a source code that is optimal in the sense of minimizing expected codeword length. For some applications, however, a source code should instead minimize one of a family of nonlinear objective functions, $\beta$-exponential means, those of the form $\log_a \sum_i p(i) a^{n(i)}$, where $n(i)$ is the length of the $i$th codeword and $a$ is a positive constant. Applications of such minimizations include a novel problem of maximizing the chance of message receipt in single-shot communications ($a 1$). This paper introduces methods for finding codes optimal for such exponential means. One method applies to geometric distributions, while another applies to distributions with lighter tails. The latter algorithm is applied to Poisson distributions and both are extended to alphabetic codes, as well as to minimizing maximum pointwise redundancy. The aforementioned application of minimizing the chance of buffer overflow is also considered.

研究动机与目标

• 解决在 $β$-指数均值等非线性目标下，整数信源缺乏最优编码方法的问题。
• 将现有编码理论从期望码字长度扩展至对消息丢失具有鲁棒性的应用场景。
• 在这些非线性准则下，为几何分布和轻尾分布（包括泊松分布）开发高效算法。
• 将该框架适配至字母码，并实现最小最大逐点冗余。
• 对单次通信的可靠性进行建模与优化，特别是最小化缓冲区溢出概率。

提出的方法

• 提出 $β$-指数均值的最小化框架，定义为 $\log_a \sum_i p(i) a^{n(i)}$，其中 $a > 0$ 且 $n(i)$ 为码字长度。
• 为几何分布设计专用算法，在 $β$-指数目标下实现最优性。
• 针对重尾更轻的分布（如泊松分布）提出第二种算法，采用递归或动态规划技术。
• 通过在码字上施加字典序约束，将两种算法扩展至字母码。
• 将框架调整为最小化最大逐点冗余，确保所有符号的性能一致。
• 通过在缓冲区约束下优化消息接收概率，将该方法应用于单次通信问题。

实验结果

研究问题

• RQ1 当最小化 $β$-指数均值等非线性目标时，如何为整数信源构造最优信源编码？
• RQ2 哪些算法可在这些非线性准则下实现对几何分布和轻尾分布的最优性？
• RQ3 该框架能否在保持最优性的同时扩展至字母码？
• RQ4 在单次通信中最小化缓冲区溢出概率与 $β$-指数最小化之间有何关系？
• RQ5 最小化最大逐点冗余与所提出的非线性目标之间存在何种关系？

主要发现

• 所提方法通过专用算法，在 $β$-指数均值下实现了对几何分布的最优编码。
• 第二种算法在相同非线性目标下，为轻尾分布（包括泊松分布）提供了最优编码。
• 通过在优化过程中引入顺序约束，该框架成功扩展至字母码。
• 该方法最小化了最大逐点冗余，确保所有输入符号的性能一致。
• 该方法有效建模并降低了单次通信系统中缓冲区溢出的概率。
• 使用 $β$-指数均值为面向可靠性的应用提供了有原则的替代方案，以替代期望长度最小化。