[论文解读] GPU-Accelerated BWT Construction for Large Collection of Short Reads

Chi-Man Liu, Ruibang Luo+1 more|arXiv (Cornell University)|Jan 29, 2014

Algorithms and Data Compression参考文献 16被引用 28

一句话总结

本文提出CX1，一种基于GPU加速的高效方法，用于构建大规模短DNA测序读段集合的Burrows-Wheeler变换（BWT），该方法结合了GPU并行计算、多核CPU线程处理以及基于集群的分布式计算。CX1在单台机器（四核CPU + GPU）上构建100 GB短读段的BWT耗时不足2小时，在4节点GPU集群上耗时不足43分钟，排除I/O开销后最高实现3.72倍加速，显著优于先前的工具如BRC以及GPU优化的BWT构建方法。

ABSTRACT

Advances in DNA sequencing technology have stimulated the development of algorithms and tools for processing very large collections of short strings (reads). Short-read alignment and assembly are among the most well-studied problems. Many state-of-the-art aligners, at their core, have used the Burrows-Wheeler transform (BWT) as a main-memory index of a reference genome (typical example, NCBI human genome). Recently, BWT has also found its use in string-graph assembly, for indexing the reads (i.e., raw data from DNA sequencers). In a typical data set, the volume of reads is tens of times of the sequenced genome and can be up to 100 Gigabases. Note that a reference genome is relatively stable and computing the index is not a frequent task. For reads, the index has to computed from scratch for each given input. The ability of efficient BWT construction becomes a much bigger concern than before. In this paper, we present a practical method called CX1 for constructing the BWT of very large string collections. CX1 is the first tool that can take advantage of the parallelism given by a graphics processing unit (GPU, a relative cheap device providing a thousand or more primitive cores), as well as simultaneously the parallelism from a multi-core CPU and more interestingly, from a cluster of GPU-enabled nodes. Using CX1, the BWT of a short-read collection of up to 100 Gigabases can be constructed in less than 2 hours using a machine equipped with a quad-core CPU and a GPU, or in about 43 minutes using a cluster with 4 such machines (the speedup is almost linear after excluding the first 16 minutes for loading the reads from the hard disk). The previously fastest tool BRC is measured to take 12 hours to process 100 Gigabases on one machine; it is non-trivial how BRC can be parallelized to take advantage a cluster of machines, let alone GPUs.

研究动机与目标

• 为解决在从头基因组组装和错误校正中广泛使用的大型短读段集合BWT构建所面临的日益严重的计算瓶颈问题。
• 利用GPU的海量并行能力、多核CPU处理能力以及分布式集群架构，突破仅依赖CPU工具的性能极限，加速BWT构建。
• 为需要频繁对动态、大规模测序数据进行BWT索引的生物信息学分析流程，提供可扩展且成本效益高的解决方案。

提出的方法

• CX1采用混合方法，结合GPU加速的后缀排序、基于CPU的多线程处理以及GPU集群节点间的分布式I/O。
• 该算法将输入的读段集合划分为多个数据块，在GPU上并行处理，块间同步通过CPU线程管理。
• 采用多级排序策略：首先按读段前缀分组，然后在每组上应用GPU加速的后缀数组构建。
• 通过可调参数$m_2$控制内存使用，实现性能与内存占用之间的灵活权衡。
• 系统支持在多个GPU节点间实现动态负载均衡，并通过数据压缩和面向SSD的输入分发策略，有效减少I/O瓶颈。
• CX1可与现有串接图组装工具集成，并利用BWT的固有结构，高效支持k-mer计数，用于错误校正。

实验结果

研究问题

• RQ1 与仅使用CPU的方法相比，GPU加速是否能显著缩短大规模短读段集合构建BWT所需的时间？
• RQ2 在集群中，GPU加速的BWT构建性能在多个GPU节点上如何扩展？
• RQ3 当处理更长的读段时，该方法的效率如何？与现有工具相比，其对读长变化的敏感度如何？
• RQ4 在考虑I/O和数据加载开销后，该方法在分布式环境中是否能实现接近线性的加速？
• RQ5 当系统受限于可用GPU或主内存时，内存使用与性能之间的权衡关系如何表现？

主要发现

• 在配备四核CPU和GPU的单台机器上，CX1在不到2小时内完成100 GB短读段（10亿条100 bp读段）的BWT构建，相比此前最快的工具BRC提速20倍。
• 在4节点GPU集群上，CX1完成相同任务仅用43分钟，排除I/O开销后加速比达3.72倍，表现出接近线性的可扩展性。
• 对于10亿条读段，CX1将构建时间从单节点的6,886秒缩短至4节点的1,580秒，展现出极强的并行效率。
• 与BRC相比，CX1对更长读段的敏感度显著降低：在400 bp读长下，CX1仅增加125%的运行时间，而BRC则需增加290%。
• 通过调节参数$m_2$，可将内存使用从45 GB降低至16 GB，仅使1亿条读段集的运行时间增加约126秒，性能损失较小。
• 在处理大规模数据集时，该方法在更多CPU核心下表现出良好扩展性，表明CPU内存访问已成为主要瓶颈，提示未来性能提升的关键在于将更多计算任务卸载至GPU。