[论文解读] DNA Lossless Differential Compression Algorithm based on Similarity of Genomic Sequence Database

Heba M. Afify, Muhammad Najam-ul-Islam+1 more|arXiv (Cornell University)|Sep 1, 2011

Algorithms and Data Compression被引用 3

一句话总结

本文提出了一种用于基因组序列数据库的无损差分压缩算法，通过存储参考序列及与之的差异（deltas）而非单独的序列来利用序列相似性。使用操作码表对差异进行编码，该方法在三个基因组数据集上实现了高达195倍的压缩率（节省99.4%的存储空间），且无需事先了解序列集合的统计特性。

ABSTRACT

Modern biological science produces vast amounts of genomic sequence data. This is fuelling the need for efficient algorithms for sequence compression and analysis. Data compression and the associated techniques coming from information theory are often perceived as being of interest for data communication and storage. In recent years, a substantial effort has been made for the application of textual data compression techniques to various computational biology tasks, ranging from storage and indexing of large datasets to comparison of genomic databases. This paper presents a differential compression algorithm that is based on production of difference sequences according to op-code table in order to optimize the compression of homologous sequences in dataset. Therefore, the stored data are composed of reference sequence, the set of differences, and differences locations, instead of storing each sequence individually. This algorithm does not require a priori knowledge about the statistics of the sequence set. The algorithm was applied to three different datasets of genomic sequences, it achieved up to 195-fold compression rate corresponding to 99.4% space saving.

研究动机与目标

• 为高效存储大规模基因组序列数据集提供解决方案。
• 通过利用同源基因组之间的高序列相似性，减少基因组数据库中的存储开销。
• 开发一种无需事先了解序列统计特性的压缩算法。
• 通过仅存储参考序列及与之的差异，优化存储效率。
• 在实现高倍压缩率的同时，支持原始序列的无损重建。

提出的方法

• 根据序列相似性从数据集中选择一个参考序列。
• 使用操作码表对参考序列与所有其他序列之间的差异序列（deltas）进行计算和编码。
• 将差异及其在参考序列中的位置一并存储，以支持原始序列的重建。
• 操作码表将核苷酸变化（例如 A→G）映射为紧凑编码，从而减少重复模式的存储开销。
• 该方法避免依赖于数据的统计模型，因此可适应多种基因组数据集。
• 压缩后的数据结构包括参考序列、带位置信息的差异列表以及操作码表。

实验结果

研究问题

• RQ1 基于序列相似性的差分压缩是否能显著降低基因组数据的存储需求？
• RQ2 在不事先假设数据统计特性的前提下，基于相似性的差分压缩方法效果如何？
• RQ3 在真实基因组序列数据集上，该方法可实现多高的压缩率？
• RQ4 该算法能否在实现高倍压缩的同时保持无损重建能力？
• RQ5 操作码表的设计如何影响基因组数据压缩效率？

主要发现

• 该算法在测试的基因组数据集中实现了最高195倍的压缩率。
• 与单独存储序列相比，该方法可实现最高99.4%的存储空间节省。
• 该方法无需事先了解序列统计特性，显著增强了其通用适用性。
• 使用操作码表对差异进行编码显著提升了压缩效率。
• 该方法在三个不同的基因组序列数据集上进行了验证，表现出一致的高性能。
• 通过参考序列和差分序列的恢复，可完全支持原始序列的无损重建。