[论文解读] A DNA Sequence Compression Algorithm Based on LUT and LZ77

Sheng Bao, Chen Shi+2 more|ArXiv.org|Apr 25, 2005

Algorithms and Data Compression参考文献 6被引用 4

一句话总结

该论文提出了一种DNA序列压缩算法，结合基于查找表（LUT）的预编码步骤与LZ77压缩，实现了1.9位/碱基或更低的压缩比。通过在应用LZ77之前，利用查找表将3个碱基的DNA序列映射为64个ASCII字符，该方法实现了快速、低内存占用且易于实现的压缩，执行速度优于传统的LZ77及其他算法，同时保持了具有竞争力的压缩效率。

ABSTRACT

This article introduces a new DNA sequence compression algorithm which is based on LUT and LZ77 algorithm. Combined a LUT-based pre-coding routine and LZ77 compression routine,this algorithm can approach a compression ratio of 1.9bits \slash base and even lower.The biggest advantage of this algorithm is fast execution, small memory occupation and easy implementation.

研究动机与目标

• 开发一种DNA序列压缩方法，以实现高比率压缩并最小化计算成本。
• 利用FPGA设计中LUT（查找表）技术的高效性，应用于生物序列压缩。
• 与现有的生物信息学压缩算法相比，减少执行时间和内存使用量。
• 实现在数据库中存储和检索DNA序列时的近乎即时解压缩。

提出的方法

• 该算法使用一个预编码步骤，将每个3个碱基的DNA序列（不包括N）通过自定义的64个字符查找表映射为单个ASCII字符。
• 该查找表将A、T、G、C的所有可能的3个碱基组合映射为可打印的ASCII字符，从而在压缩文件中无需存储原始碱基序列。
• 对于含有N（未知碱基）的序列，通过插入‘/n/’来表示连续N的数量，以保持序列完整性。
• 非三联体片段（少于三个非N碱基）直接写入输出，不进行编码。
• 预编码后的输出再通过LZ77算法进行压缩，以进一步减小文件大小。
• 解压缩过程反向执行：通过LUT解码重建原始的3个碱基序列，再通过LZ77解压缩恢复完整的DNA序列。

实验结果

研究问题

• RQ1 基于LUT的预编码步骤是否能显著提高DNA序列压缩效率，同时减少执行时间？
• RQ2 与单独使用LZ77相比，结合LUT预编码与LZ77在压缩比和速度方面表现如何？
• RQ3 所提出的算法是否能对大尺寸DNA文件实现高比率压缩和亚秒级处理时间？
• RQ4 与其它压缩算法相比，预编码步骤在多大程度上减少了内存使用量并简化了实现？

主要发现

• 该算法在平均情况下实现了1.9位/碱基的压缩比，部分序列甚至低至1.75位/碱基。
• 压缩和解压缩的平均执行时间仅为17.647毫秒，显著快于Gzip的平均65毫秒。
• 对于大多数序列，预编码阶段的计算量不足10,000个CPU时钟周期，表明计算开销极低。
• 该算法将文件大小减少至仅预编码单独处理时的约75%，LZ77带来了适度但可测量的改进。
• 该方法在内存使用方面极为高效，并支持近乎即时的解压缩，适用于数据库存储。
• 该算法在速度和压缩比方面均优于传统的LZ77及其他最先进的方法，尤其在实时应用中表现更优。