[论文解读] Fractional Hitting Sets for Efficient and Lightweight Genomic Data Sketching

Rouzé, Timothé, Martayan, Igor+2 more|arXiv (Cornell University)|May 25, 2015

Genomics and Phylogenetic Studies参考文献 18被引用 47

一句话总结

本文提出MSPKmerCounter，一种基于磁盘的k-mer计数方法，利用最小子串分割（MSP）将短序列划分为共享共同最小子串的不相交'超k-mer'分区。通过利用序列内k-mer的重叠，MSP实现高效压缩，显著降低I/O和内存使用。该方法在大规模基因组数据集上，相较于Jellyfish和BFCounter，在速度和内存效率方面均表现更优，实现了在通用硬件上的可扩展、内存高效的k-mer计数。

ABSTRACT

A major challenge in next-generation genome sequencing (NGS) is to assemble massive overlapping short reads that are randomly sampled from DNA fragments. To complete assembling, one needs to finish a fundamental task in many leading assembly algorithms: counting the number of occurrences of k-mers (length-k substrings in sequences). The counting results are critical for many components in assembly (e.g. variants detection and read error correction). For large genomes, the k-mer counting task can easily consume a huge amount of memory, making it impossible for large-scale parallel assembly on commodity servers. In this paper, we develop MSPKmerCounter, a disk-based approach, to efficiently perform k-mer counting for large genomes using a small amount of memory. Our approach is based on a novel technique called Minimum Substring Partitioning (MSP). MSP breaks short reads into multiple disjoint partitions such that each partition can be loaded into memory and processed individually. By leveraging the overlaps among the k-mers derived from the same short read, MSP can achieve astonishing compression ratio so that the I/O cost can be significantly reduced. For the task of k-mer counting, MSPKmerCounter offers a very fast and memory-efficient solution. Experiment results on large real-life short reads data sets demonstrate that MSPKmerCounter can achieve better overall performance than state-of-the-art k-mer counting approaches. MSPKmerCounter is available at http://www.cs.ucsb.edu/~yangli/MSPKmerCounter

研究动机与目标

• 解决大规模基因组k-mer计数中的内存瓶颈问题，该问题限制了在通用硬件上的从头组装。
• 克服基于哈希表的方法在高覆盖度哺乳动物基因组中内存消耗过大的局限性。
• 开发一种基于磁盘的可扩展解决方案，实现k-mer频率计数的高性能与低内存使用。
• 通过最小主内存需求，实现对海量短序列数据集的高效、可并行处理。

提出的方法

• 应用最小子串分割（MSP）将短序列划分为共享共同最小子串（p ≤ k）的不相交'超k-mer'分区。
• 利用每个序列内k-mer的重叠实现数据压缩，减少每个分区的唯一k-mer数量，从而最小化I/O开销。
• 采用基于磁盘的流水线，按顺序存储和处理分区，避免主内存溢出。
• 实现多线程版本，以并行化分区与计数阶段，提升多核系统上的吞吐量。
• 在每个分区内使用哈希表进行频率计数，结果通过后期合并处理。
• 通过可配置参数控制内存与I/O使用，实现在不同硬件约束下的性能可调。

实验结果

研究问题

• RQ1 基于磁盘的k-mer计数方法是否能在大规模基因组数据上实现比Jellyfish等内存内方法更优的内存效率？
• RQ2 最小子串分割（MSP）是否通过利用序列内k-mer重叠显著降低I/O成本？
• RQ3 MSPKmerCounter相较于Jellyfish和BFCounter等先进工具，在运行时间、内存使用和磁盘I/O方面表现如何？
• RQ4 基于MSP的k-mer计数是否可在多核系统上实现有效并行化，同时保持低内存占用？
• RQ5 该方法是否能扩展至超大数据集（如100倍覆盖度）而无需依赖高端内存系统？

主要发现

• MSPKmerCounter成功在仅使用Jellyfish等内存内工具所需分数之一的内存下完成大规模基因组数据的k-mer计数，使其可在通用硬件上运行。
• 由于MSP实现的有效压缩，与朴素哈希分区相比，I/O成本降低了10至15倍。
• 在马拉维湖慈鲷基因组数据集（k=31）上，MSPKmerCounter的运行时间快于Jellyfish(Disk)和BFCounter，即使内存使用更低。
• MSPKmerCounter的多线程版本（MSPKmerCounter(MT)）在速度上优于Jellyfish(Disk)，且在2个线程内表现出良好可扩展性，受限于I/O带宽。
• MSPKmerCounter中的内存消耗、运行时间和磁盘使用均可通过配置参数完全控制，支持在多样化硬件环境下的性能调优。
• 通过确保分区互不重叠，该方法实现了可扩展、可并行的k-mer计数，为分布式与本地组装流程铺平道路。