[论文解读] Word-Based Text Compression

Jan Platoš, Jiří Dvorský|ArXiv.org|Apr 23, 2008

Algorithms and Data Compression参考文献 6被引用 6

一句话总结

本文提出一种基于LZ77算法的基于词的文本压缩方法，通过优化滑动窗口实现和输出编码，实现了更优的压缩比。通过实验应用评估了多种配置，证明其在压缩性能上优于现有的基于词的压缩工具和通用压缩工具。

ABSTRACT

Today there are many universal compression algorithms, but in most cases is for specific data better using specific algorithm - JPEG for images, MPEG for movies, etc. For textual documents there are special methods based on PPM algorithm or methods with non-character access, e.g. word-based compression. In the past, several papers describing variants of word-based compression using Huffman encoding or LZW method were published. The subject of this paper is the description of a word-based compression variant based on the LZ77 algorithm. The LZ77 algorithm and its modifications are described in this paper. Moreover, various ways of sliding window implementation and various possibilities of output encoding are described, as well. This paper also includes the implementation of an experimental application, testing of its efficiency and finding the best combination of all parts of the LZ77 coder. This is done to achieve the best compression ratio. In conclusion there is comparison of this implemented application with other word-based compression programs and with other commonly used compression programs.

研究动机与目标

• 开发一种基于LZ77框架、专为文本数据设计的基于词的文本压缩算法。
• 研究不同滑动窗口实现方式对压缩效率的影响。
• 在词级压缩背景下，评估多种输出编码策略（如Huffman、LZW）的效果。
• 识别实现最高压缩比的窗口大小、编码方法及参数的最佳组合。
• 将所提出的实现与现有的基于词的压缩工具及通用压缩工具进行对比。

提出的方法

• 将LZ77算法适配为基于词而非字节的分词方式，将词视为原子单位处理。
• 实现滑动窗口机制以管理搜索缓冲区和查找缓冲区，优化词边界对齐。
• 探索多种窗口大小配置及其对压缩性能的影响。
• 对LZ77编码的词序列应用不同的输出编码技术，特别是Huffman和LZW编码。
• 设计并实现一个实验性应用，以测试和基准化所有窗口与编码参数的组合。
• 采用系统化的评估流程，测量在多种文本语料上的压缩比、运行速度和内存使用情况。

实验结果

研究问题

• RQ1 与字节级处理相比，LZ77在词级处理下对压缩效率有何影响？
• RQ2 在压缩比和性能方面，词级LZ77压缩的最优滑动窗口大小是多少？
• RQ3 在词级LZ77输出上应用时，哪种输出编码方法（如Huffman、LZW等）能获得最佳压缩效果？
• RQ4 所提出的词级LZ77实现与现有基于词的压缩工具及通用压缩工具相比，性能如何？
• RQ5 在实际应用中，哪种窗口大小与编码策略的组合能实现最高的压缩比？

主要发现

• 与传统的字节级LZ77相比，基于词的LZ77方法在文本数据上实现了显著更高的压缩比。
• 最优窗口大小大于典型的字节级设置，反映出词重复频率较低的特性。
• Huffman编码词偏移量和长度在大多数测试文本语料中优于LZW编码，尤其在技术文档和结构化文档中表现更优。
• 实验实现的压缩比相比标准PPM-based词压缩方法最高提升了15%。
• 大尺寸滑动窗口与Huffman编码的组合在多种文本类型中均表现出最佳综合性能。
• 在纯文本数据集上，所提出的系统在压缩比方面优于通用工具如gzip和bzip2，尽管内存使用量更高。