[论文解读] Engineering Relative Compression of Genomes

Szymon Grabowski, Sebastian Deorowicz|arXiv (Cornell University)|Mar 11, 2011

Algorithms and Data Compression参考文献 19被引用 8

一句话总结

本文提出了一种新型的LZ77风格相对压缩算法，用于同一物种的多个基因组，通过在参考序列中增加其他基因组中的高频短语并优化解析与编码方式，显著提升了压缩速度（快于10倍）和压缩比（提升30%），相比以往方法。该方法实现了高效、可扩展的大规模基因组数据库存储，并支持随机访问。

ABSTRACT

Technology progress in DNA sequencing boosts the genomic database growth at faster and faster rate. Compression, accompanied with random access capabilities, is the key to maintain those huge amounts of data. In this paper we present an LZ77-style compression scheme for relative compression of multiple genomes of the same species. While the solution bears similarity to known algorithms, it offers significantly higher compression ratios at compression speed over a order of magnitude greater. One of the new successful ideas is augmenting the reference sequence with phrases from the other sequences, making more LZ-matches available.

研究动机与目标

• 应对高通量测序技术产生的大规模基因组数据库在存储与访问方面日益增长的挑战。
• 克服传统压缩方法在大型重复性人类基因组及物种特异性基因组中无法有效利用基因组间冗余的局限。
• 开发一种快速、可扩展的压缩方案，在保持高压缩比的同时支持对压缩数据的随机访问。
• 通过新颖的算法技术，改进现有相对压缩算法，在速度与压缩效率两方面均实现提升。
• 实现压缩技术在大规模基因组工作流（包括个性化医疗与版本控制系统）中的实际部署。

提出的方法

• 通过从同物种其他基因组中提取高频短语并添加至参考基因组，以增加LZ77匹配数量。
• 采用改进的LZ解析策略，隐式检测近似重复，提升匹配发现能力，同时不牺牲处理速度。
• 实现一种紧凑的编码方案，用于匹配偏移量、长度与原文字符，以减小整体压缩大小。
• 应用基于阈值的过滤（M₁ = 13）以控制解析粒度，在速度与压缩比之间实现平衡。
• 采用启发式方法基于13-mer子序列的频率选择最优参考序列，以提高匹配可能性。
• 在设计中考虑可扩展性，未来可通过在匹配位向量上使用rank/select数据结构，支持随机访问。

实验结果

研究问题

• RQ1 通过在参考基因组中加入同物种其他序列的短语，能否显著提升基于LZ77的压缩比？
• RQ2 如何优化LZ77风格的解析策略，以在大型重复基因组上同时实现高速与高压缩比？
• RQ3 参考序列选择对整体压缩性能有何影响？能否实现有效的自动化？
• RQ4 所提出的方案能否支持对压缩基因组数据的高效随机访问？需要何种数据结构？
• RQ5 该算法在速度与压缩比方面，相较于现有相对压缩器的表现如何？

主要发现

• 与Kuruppu等人[15]的先前最先进算法相比，该算法的压缩速度提升超过10倍。
• 与同一基线相比，压缩比提升了约30%，显示出显著的效率提升。
• 通过在参考序列中加入其他基因组的短语，显著增加了可用的LZ匹配数量，直接提升了压缩效率。
• 对于大多数数据集，短语长度的最优阈值（M₁）为13，但高度重复的人类基因组需要更高的值以维持速度。
• 基于13-mer频率的参考序列选择启发式方法在大多数情况下表现有效，仅在人类染色体数据中失败一次。
• 该算法在软件版本控制系统中具有应用潜力，也可作为Re-Pair在倒排索引压缩中的替代方案，尽管可能存在速度上的权衡。