[论文解读] Lossy Compression in Near-Linear Time via Efficient Random Codebooks and Databases

Christos Gioran, Ioannis Kontoyiannis|ArXiv.org|Apr 21, 2009

Algorithms and Data Compression参考文献 53被引用 7

一句话总结

本文提出HYB，一种混合有损压缩算法，结合了Gupta-Verdú-Weissman（GVW）的分治效率与有损Lempel-Ziv（LLZ）方案中单个随机数据库的低内存使用特性。该算法实现了与GVW相同的最优率失真性能和近线性复杂度，同时将内存需求降低了无界倍数，使其在低失真条件下适用于简单离散无记忆源的实时应用。

ABSTRACT

The compression-complexity trade-off of lossy compression algorithms that are based on a random codebook or a random database is examined. Motivated, in part, by recent results of Gupta-Verdú-Weissman (GVW) and their underlying connections with the pattern-matching scheme of Kontoyiannis' lossy Lempel-Ziv algorithm, we introduce a non-universal version of the lossy Lempel-Ziv method (termed LLZ). The optimality of LLZ for memoryless sources is established, and its performance is compared to that of the GVW divide-and-conquer approach. Experimental results indicate that the GVW approach often yields better compression than LLZ, but at the price of much higher memory requirements. To combine the advantages of both, we introduce a hybrid algorithm (HYB) that utilizes both the divide-and-conquer idea of GVW and the single-database structure of LLZ. It is proved that HYB shares with GVW the exact same rate-distortion performance and implementation complexity, while, like LLZ, requiring less memory, by a factor which may become unbounded, depending on the choice or the relevant design parameters. Experimental results are also presented, illustrating the performance of all three methods on data generated by simple discrete memoryless sources. In particular, the HYB algorithm is shown to outperform existing schemes for the compression of some simple discrete sources with respect to the Hamming distortion criterion.

研究动机与目标

• 解决长期存在的设计实际、近似最优有损压缩算法且编码复杂度低的挑战。
• 克服GVW分治方法带来的高内存需求，同时保持其最优率失真性能。
• 将LLZ算法的低内存结构与GVW子块编码策略的优势相结合。
• 开发一种混合方案，在显著降低内存占用的同时，保持渐近最优性与近线性复杂度。
• 在汉明失真准则下，针对简单离散无记忆源，证明所提方法的实用性。

提出的方法

• 提出一种混合算法（HYB），使用单个固定数据库（类似LLZ），但通过分别编码长度为ℓ的子块，应用GVW的分治策略。
• 为每个子块使用大小为2^{ℓR(D)}的随机码本，确保在位置i = 1, ℓ+1, 2ℓ+1, ...处匹配的独立性，从而简化分析。
• 采用一种模式匹配方案，将每个子块与数据库中最接近的码字匹配，以在给定速率约束下最小化失真。
• 通过参数ℓ控制超出失真的概率，其中ℓ = ⌈(1/(C(D)γ²)) log(3(D_max - D)/ε)⌉，以平衡速率、失真与误差概率。
• 定义关键辅助量：D₁ = D/2，K(D) = (D - D₁)/(R(D₁) - R(D))，以及C(D) = min{ K²/(8D_max²), 1/(32(R′(D/2)D_max)²), 1/4 }，这些量控制误差界。
• 使用阈值ε̂确保期望失真保持在D + ε以下，其中ε̂依赖于D_max、D和C(D)，从而在性能上提供概率保证。

实验结果

研究问题

• RQ1 能否设计一种有损压缩算法，在实现最优率失真性能的同时，具备近线性时间复杂度与显著降低的内存使用？
• RQ2 将GVW的分治子块策略与LLZ的单数据库结构相结合，对性能与复杂度有何影响？
• RQ3 相较于纯GVW或LLZ，采用混合方法时，内存使用与失真性能之间的权衡如何？
• RQ4 该混合算法能否在保持与GVW相同率失真性能的同时，实现更低的内存复杂度？
• RQ5 哪些参数选择（如子块长度ℓ、速率偏移γ）可确保以高概率收敛至目标失真D？

主要发现

• HYB算法实现了与GVW方法相同的率失真性能与实现复杂度，证明其具有渐近最优性。
• HYB在保持最优性能的同时，将内存需求降低了可无界增长的倍数，具体取决于设计参数。
• 对于任意目标失真D ∈ (0, D_max)，HYB可实现速率R = R(D) + γ，且期望失真< D + ε，其中γ与ℓ选择得当。
• 超出失真的概率被限制在2(2^{-ℓC(D)γ²}) + ℓ2^{-ℓγ/4}以内，随着n → ∞而趋近于零，确保收敛至目标失真。
• 由于每个块中的超额项在渐近下趋于零，全消息X₁ⁿ的期望失真随n → ∞收敛至D。
• 实验结果表明，在汉明失真准则下，HYB在简单离散无记忆源上优于现有方案。