[论文解读] Compression of high throughput sequencing data with probabilistic de Bruijn graph

Gaëtan Benoit, Claire Lemaitre+2 more|arXiv (Cornell University)|Dec 18, 2014

Genomics and Phylogenetic Studies被引用 5

一句话总结

本文提出 Leon，一种新颖的无参考基因组压缩方法，用于高通量测序数据，利用存储在布隆过滤器中的概率 de Bruijn 图表示基因组 k-mer。读段通过 k-mer 锚点和分叉选择列表进行编码，实现对秀丽隐杆线虫数据的 0.7 bit/base 压缩率（11 倍压缩），通过采用类似组装的压缩结构而非通用文本压缩方法，优于当前最先进的从头组装工具。

ABSTRACT

Motivation: Data volumes generated by next-generation sequencing technolo- gies is now a major concern, both for storage and transmission. This triggered the need for more efficient methods than general purpose compression tools, such as the widely used gzip. Most reference-free tools developed for NGS data compression still use general text compression methods and fail to benefit from algorithms already designed specifically for the analysis of NGS data. The goal of our new method Leon is to achieve compression of DNA sequences of high throughput sequencing data, without the need of a reference genome, with techniques derived from existing assembly principles, that possibly better exploit NGS data redundancy. Results: We propose a novel method, implemented in the software Leon, for compression of DNA sequences issued from high throughput sequencing technologies. This is a lossless method that does not need a reference genome. Instead, a reference is built de novo from the set of reads as a probabilistic de Bruijn Graph, stored in a Bloom filter. Each read is encoded as a path in this graph, storing only an anchoring kmer and a list of bifurcations indicating which path to follow in the graph. This new method will allow to have compressed read files that also already contain its underlying de Bruijn Graph, thus directly re-usable by many tools relying on this structure. Leon achieved encoding of a C. elegans reads set with 0.7 bits/base, outperforming state of the art reference-free methods. Availability: Open source, under GNU affero GPL License, available for download at http://gatb.inria.fr/software/leon/

研究动机与目标

• 应对存储和传输海量高通量测序（HTS）数据带来的日益严峻挑战。
• 开发一种无损、无参考的压缩方法，通过更有效地利用 HTS 数据中的冗余性，优于通用工具（如 gzip）的压缩效果。
• 将底层 de Bruijn 图结构直接集成到压缩文件中，实现下游分析的即用即用。
• 通过采用组装原理（特别是概率 de Bruijn 图）而非文本压缩启发式方法，实现更优的压缩率。

提出的方法

• 使用大小为 k 的 k-mer 从输入读段构建无参考概率 de Bruijn 图，将节点存储在布隆过滤器中以减少内存占用。
• 通过 k-mer 锚点和一系列指示路径遍历决策的分叉选择，将每条读段编码为图中的一条路径。
• 使用算术编码高效压缩分叉信息，每个分叉平均约需 2 位。
• 通过基于基因组大小和 k-mer 深度的理论估算，优化布隆过滤器大小，以在误报率（导致额外分叉）与存储成本之间取得平衡。
• 在解压缩过程中，通过从锚点出发按存储的分叉列表遍历图来重建读段。
• 通过多线程处理实现并行化，由于内存访问模式，在 Intel 超线程环境下表现出显著性能提升。

实验结果

研究问题

• RQ1 基于概率 de Bruijn 图的无参考压缩方法是否能实现优于现有无参考工具的压缩率？
• RQ2 类似组装的数据结构在无参考基因组条件下，能在多大程度上提升 HTS DNA 序列的无损压缩效果？
• RQ3 布隆过滤器大小与误报引起的分叉开销之间的权衡如何影响整体压缩效率？
• RQ4 压缩文件是否能原生嵌入可直接用于下游分析的可用 de Bruijn 图，从而减少重新计算的需求？

主要发现

• Leon 对秀丽隐杆线虫 70x 全基因组测序数据集实现了 0.7 bit/base 的压缩率，对应 11 倍压缩。
• 对于大肠杆菌数据集，Leon 实现了 0.49 bit/base 的压缩率，代表 16 倍压缩。
• 该方法在多个数据集（包括全基因组测序、外显子测序、RNA-seq 和宏基因组数据）上优于当前最先进的无参考工具（如 fastqz、fqzcomp、scalce 和 Quip）。
• 理论估算的最优布隆过滤器大小为每元素 10.3 位（k-mer 深度为 50），与秀丽隐杆线虫数据集的实验结果非常接近。
• Leon 展现出强大的可扩展性，支持最多 24 个 CPU 线程，并因内存访问模式在 Intel 超线程环境下显著受益。
• 压缩文件中包含一个自包含且可直接使用的 de Bruijn 图，可立即用于依赖该结构的下游分析工具。