[论文解读] An Efficient Technique for Text Compression

Muhammad Abul Kalam Azad, Rezwana Sharmeen+2 more|arXiv (Cornell University)|Sep 25, 2010

Algorithms and Data Compression参考文献 10被引用 12

一句话总结

本文提出了一种两级无损文本压缩技术，首先通过系统级词典查找表将重复词汇替换为紧凑的地址引用，然后对生成的二进制数据应用标准压缩算法。该方法通过利用操作系统的词级索引机制，显著降低了英文文本的内存占用，在不损失信息的前提下实现了高比率压缩。

ABSTRACT

For storing a word or the whole text segment, we need a huge storage space. Typically a character requires 1 Byte for storing it in memory. Compression of the memory is very important for data management. In case of memory requirement compression for text data, lossless memory compression is needed. We are suggesting a lossless memory requirement compression method for text data compression. The proposed compression method will compress the text segment or the text file based on two level approaches firstly reduction and secondly compression. Reduction will be done using a word lookup table not using traditional indexing system, then compression will be done using currently available compression methods. The word lookup table will be a part of the operating system and the reduction will be done by the operating system. According to this method each word will be replaced by an address value. This method can quite effectively reduce the size of persistent memory required for text data. At the end of the first level compression with the use of word lookup table, a binary file containing the addresses will be generated. Since the proposed method does not use any compression algorithm in the first level so this file can be compressed using the popular compression algorithms and finally will provide a great deal of data compression on purely English text data.

研究动机与目标

• 减少在持久存储中存储文本数据的内存需求。
• 开发一种适用于大规模文本管理的无损压缩技术。
• 在初始压缩阶段尽量减少对传统压缩算法的依赖。
• 在操作系统级别集成词典查找，以实现系统级效率。
• 通过混合方法在英文文本上实现高比率压缩。

提出的方法

• 该方法使用预先构建的、集成到操作系统的词典查找表，将每个唯一词汇映射到唯一的地址值。
• 在第一级压缩中，文本中的所有词汇均被替换为其对应的地址值，生成一个二进制文件。
• 该二进制文件（表示词汇索引而非原始文本）随后使用标准无损压缩算法进行压缩。
• 该方法在第一阶段避免使用传统压缩，转而依赖语义词汇索引实现初始尺寸缩减。
• 词典查找表为持久存储且在系统范围内共享，从而在大规模场景下减少冗余。
• 最终输出为一个高度压缩的二进制文件，适用于高效存储与检索。

实验结果

研究问题

• RQ1 系统级词典查找表是否能显著减少在应用标准压缩前的文本数据大小？
• RQ2 将词汇索引与传统压缩算法结合用于英文文本的效果如何？
• RQ3 通过将词汇替换与传统压缩解耦，无损压缩的性能可提升到何种程度？
• RQ4 使用操作系统集成的词典查找对整体内存效率有何影响？
• RQ5 该两级方法是否能实现优于独立压缩方法的压缩比率？

主要发现

• 所提出的方法通过将重复词汇替换为紧凑的地址引用，实现了显著的内存节省。
• 使用系统级词典查找表在压缩前于词汇层面减少了冗余。
• 词汇替换后的二进制文件极适合由标准算法进一步压缩。
• 该技术特别针对英文文本进行优化，因为英文文本中词汇频率和重复性较高。
• 由于索引与压缩阶段的分离，该方法实现了极低的计算开销，实现无损压缩。
• 该方法在具有重复词汇的大规模文本语料中表现出极高的压缩效率。