[论文解读] Domain Specific Hierarchical Huffman Encoding

K. Ilambharathi, G. S. N. V. Venkata Manik+2 more|arXiv (Cornell University)|Jul 3, 2013

Algorithms and Data Compression参考文献 2被引用 5

一句话总结

本文提出一种两级领域特定数据压缩框架，首先将频繁出现的词模式替换为更短的特殊字符串，然后对转换后的文本应用经典的霍夫曼编码。该方法在大型领域特定文本（如计算机科学讲义）中，相较于经典霍夫曼编码实现了更优的压缩比，原因在于有效结合了模式级和字符级压缩，以及最优前缀编码。

ABSTRACT

In this paper, we revisit the classical data compression problem for domain specific texts. It is well-known that classical Huffman algorithm is optimal with respect to prefix encoding and the compression is done at character level. Since many data transfer are domain specific, for example, downloading of lecture notes, web-blogs, etc., it is natural to think of data compression in larger dimensions (i.e. word level rather than character level). Our framework employs a two-level compression scheme in which the first level identifies frequent patterns in the text using classical frequent pattern algorithms. The identified patterns are replaced with special strings and to acheive a better compression ratio the length of a special string is ensured to be shorter than the length of the corresponding pattern. After this transformation, on the resultant text, we employ classical Huffman data compression algorithm. In short, in the first level compression is done at word level and in the second level it is at character level. Interestingly, this two level compression technique for domain specific text outperforms classical Huffman technique. To support our claim, we have presented both theoretical and simulation results for domain specific texts.

研究动机与目标

• 为解决经典霍夫曼编码仅在字符级别操作、忽略领域特定模式的局限性。
• 通过利用频繁的词级模式，提升领域特定文本（如学术讲义或技术博客）的压缩比。
• 设计一种结合频繁模式挖掘与分层霍夫曼编码的框架，实现最优前缀编码压缩。
• 验证词级压缩后接字符级霍夫曼编码的方案，在压缩比和效率方面优于经典霍夫曼编码。

提出的方法

• 第一级使用经典频繁模式挖掘算法，识别领域特定文本中频繁出现的模式（长度≥3），并设定最小频率阈值（例如10次）。
• 每个识别出的模式被替换为更短的特殊字符串，确保 |r_i| < |P_i|，以在霍夫曼压缩前减小文本大小。
• 转换后的文本（现由标准字符和短替换字符串组成）被输入经典霍夫曼算法，实现最优前缀编码。
• 压缩过程为分层结构：先进行词级替换，再进行字符级霍夫曼编码，且替换字典仅需在每个领域内传输一次。
• 理论分析证明，该两级方案在前缀编码下为最优，压缩比定义为两级方案与经典霍夫曼性能的比值。
• 仿真实验使用计算机科学领域文本（500KB–2MB）评估性能、压缩比，以及对模式长度和频率的敏感性。

实验结果

研究问题

• RQ1 用更短的字符串替换领域特定文本中的频繁词模式，能否提升整体压缩效率？
• RQ2 在领域特定数据中，两级压缩（先模式级后字符级）与经典霍夫曼编码相比，压缩比如何？
• RQ3 模式长度和频率对所提分层霍夫曼方案性能有何影响？
• RQ4 与经典霍夫曼编码相比，传输模式字典的开销在何时变得合理？

主要发现

• 对于大输入文本（如2MB），分层霍夫曼方法由于模式频率更高且替换更有效，相比经典霍夫曼编码实现了显著更优的压缩比。
• 随着输入文本大小增加，压缩比进一步提升，因为更大的文本包含更多适合替换的频繁模式。
• 仿真图谱证实，频率相同的情况下，更短的模式比更长的模式带来更好的压缩比。
• 当领域特定文本的下载次数超过临界阈值后，两级方法才在性能上超越经典霍夫曼编码，此时一次性字典传输开销被分摊。
• 对于小文本或大模式，分层霍夫曼性能与经典霍夫曼相近，因为模式替换的优势减弱。
• 理论与仿真结果共同证实，该两级方法在前缀编码下为最优，并在领域特定数据上实现了更优性能。