[论文解读] GenStore: A High-Performance and Energy-Efficient In-Storage Computing System for Genome Sequence Analysis

Nika Mansouri Ghiasi, Jisung Park+12 more|arXiv (Cornell University)|Feb 21, 2022

Advanced Data Storage Technologies被引用 13

一句话总结

GenStore 是一种新颖的存储内计算系统，通过在 NAND 闪存 SSD 内直接执行低成本、高精度的基因组读段过滤，显著减少了数据移动和计算开销，从而加速了基因组序列分析。对于高相似性读段，其性能相比软件方案提升 2.07–6.05×，相比硬件方案提升 1.52–3.32×；对于低相似性读段，性能提升最高可达 33.63×（软件）和 19.2×（硬件），显著提升了端到端吞吐量和能效。

ABSTRACT

Read mapping is a fundamental, yet computationally-expensive step in many genomics applications. It is used to identify potential matches and differences between fragments (called reads) of a sequenced genome and an already known genome (called a reference genome). To address the computational challenges in genome analysis, many prior works propose various approaches such as filters that select the reads that must undergo expensive computation, efficient heuristics, and hardware acceleration. While effective at reducing the computation overhead, all such approaches still require the costly movement of a large amount of data from storage to the rest of the system, which can significantly lower the end-to-end performance of read mapping in conventional and emerging genomics systems. We propose GenStore, the first in-storage processing system designed for genome sequence analysis that greatly reduces both data movement and computational overheads of genome sequence analysis by exploiting low-cost and accurate in-storage filters. GenStore leverages hardware/software co-design to address the challenges of in-storage processing, supporting reads with 1) different read lengths and error rates, and 2) different degrees of genetic variation. Through rigorous analysis of read mapping processes, we meticulously design low-cost hardware accelerators and data/computation flows inside a NAND flash-based SSD. Our evaluation using a wide range of real genomic datasets shows that GenStore, when implemented in three modern SSDs, significantly improves the read mapping performance of state-of-the-art software (hardware) baselines by 2.07-6.05$ imes$ (1.52-3.32$ imes$) for read sets with high similarity to the reference genome and 1.45-33.63$ imes$ (2.70-19.2$ imes$) for read sets with low similarity to the reference genome.

研究动机与目标

• 为解决基因组序列分析中读段比对的高计算开销和数据移动开销问题。
• 缓解因将大型基因组数据集从存储设备传输到主内存和 CPU 所导致的性能瓶颈。
• 设计一种软硬件协同的存储内系统，支持多种读段类型（短读段/长读段）和不同水平的遗传变异。
• 利用低成本加速器在存储设备内部直接实现高吞吐量、高能效的基因组读段过滤。
• 展示其在性能和能效方面显著优于当前最先进的软件和硬件读段比对器。

提出的方法

• GenStore 在 NAND 闪存 SSD 内集成定制硬件加速器，直接在存储设备中执行近似字符串匹配（ASM）过滤。
• 采用两种专用过滤引擎：GenStore-NM 用于高遗传变异的长读段，GenStore-EM 用于具有精确或近似匹配的短读段。
• 系统采用协同设计方法，优化 SSD 内部的数据流与计算，最大限度减少芯片外数据移动。
• 利用闪存存储的特性，在原位存储和处理基因组数据，降低延迟和能耗。
• 过滤逻辑根据不同测序技术的特性进行调优，包括读段长度、错误率以及与参考基因组的遗传差异程度。
• GenStore 与现有软件和硬件读段比对器无缝集成，提升其性能，且无需修改比对器的逻辑。

实验结果

研究问题

• RQ1 存储内处理能否显著减少基因组序列分析中的数据移动和计算开销？
• RQ2 软硬件协同设计如何实现对多样化基因组读段（短/长读段，高/低相似性）的高效且精确的过滤？
• RQ3 与传统系统相比，在基于闪存的 SSD 中直接执行读段过滤能带来多大的性能和能效提升？
• RQ4 GenStore 在具有不同遗传变异程度和读段特性的多种基因组数据集上如何实现可扩展性？
• RQ5 GenStore 能否有效集成到现有软件和硬件读段比对器中，以提升端到端性能？

主要发现

• 对于与参考基因组高度相似的读段集，GenStore 相比最先进的软件读段比对器最高可实现 6.05× 的性能提升。
• 对于低相似性读段集，GenStore 在基于软件的比对器中最高可实现 33.63× 的性能提升，展现出对复杂、高度变异基因组的卓越性能。
• 在集成 GenStore 后，硬件加速基线系统最高可实现 3.32× 的性能提升，凸显其在混合系统中的有效性。
• GenStore-NM 在 SARS-CoV-2 研究中过滤了超过 99.7% 的读段，显著减轻了下游比对器的计算负载。
• GenStore-EM 在短读段数据集中有效过滤了精确和近似匹配的读段，显著加速了校正和验证工作负载。
• 该系统通过最小化数据移动降低了能耗，使其特别适用于便携式和资源受限的基因组分析平台。