[论文解读] Memory-Assisted Universal Source Coding

Ahmad Beirami, Faramarz Fekri|arXiv (Cornell University)|Jan 10, 2012

Algorithms and Data Compression参考文献 2被引用 6

一句话总结

本文提出了一种记忆辅助的通用信源编码方法，其中具备先前上下文记忆的中继节点可减少压缩冗余。通过利用来自记忆单元的共享上下文，该方法在传统通用压缩基础上实现了高达50%的增益，并在内存足够时趋近熵速率，尤其适用于128kB的一阶马尔可夫信源且内存为8MB的情况。

ABSTRACT

The problem of the universal compression of a sequence from a library of several small to moderate length sequences from similar context arises in many practical scenarios, such as the compression of the storage data and the Internet traffic. In such scenarios, it is often required to compress and decompress every sequence individually. However, the universal compression of the individual sequences suffers from significant redundancy overhead. In this paper, we aim at answering whether or not having a memory unit in the middle can result in a fundamental gain in the universal compression. We present the problem setup in the most basic scenario consisting of a server node $S$, a relay node $R$ (i.e., the memory unit), and a client node $C$. We assume that server $S$ wishes to send the sequence $x^n$ to the client $C$ who has never had any prior communication with the server, and hence, is not capable of memorization of the source context. However, $R$ has previously communicated with $S$ to forward previous sequences from $S$ to the clients other than $C$, and thus, $R$ has memorized a context $y^m$ shared with $S$. Note that if the relay node was absent the source could possibly apply universal compression to $x^n$ and transmit to $C$ whereas the presence of memorized context at $R$ can possibly reduce the communication overhead in $S$-$R$ link. In this paper, we investigate the fundamental gain of the context memorization in the memory-assisted universal compression of the sequence $x^n$ over conventional universal source coding by providing a lower bound on the gain of memory-assisted source coding.

研究动机与目标

• 探究压缩链路中的记忆单元是否能从根本上减少通用信源编码中的冗余。
• 在三节点网络（服务器、中继、客户端）中，比较存在与不存在上下文记忆的通用压缩方法。
• 量化上下文记忆在减少压缩长度方面相对于传统通用编码的根本性增益。
• 利用参数化信源模型和杰弗里斯先验，建立性能提升的理论边界。

提出的方法

• 引入三节点模型：服务器（S）、带记忆的中继（R）和客户端（C），其中R存储来自先前传输的上下文序列ym。
• 定义两种方案：Ucomp（无上下文记忆）和UcompM（中继和服务器处均有上下文记忆）
• 使用比值Q(ln, ln|m, θ) = E[ln(Xn)] / E[ln|m(Xn)] 来比较在真实参数θ下的期望压缩长度。
• 在d维参数向量θ上应用杰弗里斯先验，以对参数不确定性的参数化信源进行建模。
• 利用极小化最大冗余和一种新型冗余项ˆR(n, m)，推导出根本增益g(n, m, ǫ)的下界。
• 引入渐近分析，表明随着内存大小m增加，压缩长度收敛至熵速率。

实验结果

研究问题

• RQ1 压缩链路中的记忆单元是否能为通用信源编码带来冗余的根本性减少？
• RQ2 与标准通用编码相比，使用记忆上下文时压缩效率的理论最大增益是多少？
• RQ3 内存大小（m）和序列长度（n）如何影响可实现的压缩增益？
• RQ4 记忆辅助编码在多大程度上可以趋近信源的熵速率？

主要发现

• 对于128kB的一阶马尔可夫序列且内存为8MB的情况，所提出的记忆辅助方案UcompM在压缩增益上超过传统Ucomp的50%。
• 根本增益g(n, m, ǫ)的下界为1 + (¯Rn + log(ǫ) − ˆR(n, m)) / (Hn(θ) + ˆR(n, m)) + O(1/(n√m))，表明其依赖于冗余和内存大小。
• 当内存大小m足够大时，压缩长度趋近于熵速率Hn(θ)，表明性能接近最优。
• 即使在中等内存大小下，该增益也具有显著的量化意义，尤其当n和m处于实际数据传输范围时。
• 在杰弗里斯先验下，理论边界成立，该先验确保了对未知参数的非信息性、客观建模。
• 该方法表明，在实际场景（如互联网流量和存储系统）中，中继节点处的上下文记忆可显著降低通信开销。