[论文解读] Efficient Real-Time Selective Genome Sequencing on Resource-Constrained Devices

Po Jui Shih, Hassaan Saadat+2 more|arXiv (Cornell University)|Nov 14, 2022

Genomics and Phylogenetic Studies被引用 11

一句话总结

HARU 是一种软硬件协同设计的系统，通过在配备片上 FPGA 的低成本便携式 MPSoC 设备上加速子序列动态时间规整（sDTW），实现了实时选择性基因组测序。与未优化的软件相比，其速度提升了 85 倍；与在 36 核服务器上运行的优化软件相比，速度提升了 2.5 倍，同时能耗降低了两个数量级。

ABSTRACT

Third-generation nanopore sequencers offer a feature called selective sequencing or 'Read Until' that allows genomic reads to be analyzed in real-time and abandoned halfway, if not belonging to a genomic region of 'interest'. This selective sequencing opens the door to important applications such as rapid and low-cost genetic tests. The latency in analyzing should be as low as possible for selective sequencing to be effective so that unnecessary reads can be rejected as early as possible. However, existing methods that employ subsequence Dynamic Time Warping (sDTW) algorithm for this problem are too computationally intensive that a massive workstation with dozens of CPU cores still struggles to keep up with the data rate of a mobile phone-sized MinION sequencer. In this paper, we present Hardware Accelerated Read Until (HARU), a resource-efficient hardware-software co-design-based method that exploits a low-cost and portable heterogeneous MPSoC platform with on-chip FPGA to accelerate the sDTW-based Read Until algorithm. Experimental results show that HARU on a Xilinx FPGA embedded with a 4-core ARM processor is around 2.5X faster than a highly optimized multi-threaded software version (around 85X faster than the existing unoptimized multi-threaded software) running on a sophisticated server with 36-core Intel Xeon processor for a SARS-CoV-2 dataset. The energy consumption of HARU is two orders of magnitudes lower than the same application executing on the 36-core server. Source code for HARU sDTW module is available as open-source at https://github.com/beebdev/HARU and an example application that utilises HARU is at https://github.com/beebdev/sigfish-haru.

研究动机与目标

• 解决在资源受限设备上基于 sDTW 的实时选择性测序所面临的计算瓶颈问题。
• 为路径原体监测和快速基因检测等应用，实现便携式、低功耗的选择性测序。
• 克服现有纯软件 sDTW 实现方案无法跟上 MinION 测序仪数据速率的局限性。
• 设计一种面向嵌入式 MPSoC 平台 FPGA 部署的内存高效、高吞吐量 sDTW 加速器。
• 证明在低成本 FPGA 上进行硬件加速，可在速度和能效方面超越高端服务器 CPU。

提出的方法

• 开发了一种内存高效的 sDTW 加速器，通过避免存储完整的 M×N 矩阵，将空间复杂度从 O(MN) 降低至 O(M)。
• 利用 sDTW 计算中的细粒度并行性，将时间复杂度从软件中的 O(MN) 降低至硬件中的 O(M+N)。
• 在 Xilinx Kria MPSoC 平台的 4 核 ARM 处理器上集成了 sDTW 加速器，实现对实时信号的处理。
• 实现了多线程软件流水线，用于信号预处理和批量输入处理，以最大化硬件利用率。
• 采用 BLOW5 文件格式和 slow5lib 实现高效的原始信号 I/O，支持向嵌入式目标的交叉编译。
• 设计了可扩展的部署架构，支持通过部署多个 HARU 实例来处理更大规模的测序工作负载。

实验结果

研究问题

• RQ1 基于 FPGA 的硬件加速能否在低成本、便携式嵌入式平台上实现纳米孔选择性测序的实时 sDTW 计算？
• RQ2 与传统软件实现相比，内存高效的 sDTW 设计在降低空间和时间复杂度方面能达到何种程度？
• RQ3 与在高端服务器硬件上运行的优化多线程软件相比，HARU 的性能和能效表现如何？
• RQ4 在当前 FPGA 平台上部署 HARU 的实际限制是什么，特别是针对参考序列大小和数据流处理方面？
• RQ5 HARU 是否可以扩展以支持新型纳米孔化学试剂以及 RNA 或蛋白质等其他核酸类型？

主要发现

• 在 36 核 Xeon 服务器上处理 SARS-CoV-2 数据集时，HARU 相较于原始未优化的 sDTW 软件实现，速度提升了 85 倍。
• HARU 在同一台 36 核服务器上运行时，比高度优化的多线程软件版本快 2.5 倍。
• HARU 的能耗比同一应用在 36 核服务器上的能耗低两个数量级，能量延迟积降低了 650 倍。
• HARU sDTW 加速器在 Xilinx Kria FPGA 上使用的 LUT 资源不足 20%，为并行部署最多 5 个核心以进一步提升吞吐量预留了空间。
• 系统在 MinION 测序仪 450 个碱基/秒的数据速率下仍能保持实时性能，支持实际设备上的选择性测序。
• HARU 的开源发布（包括 Verilog 核心和设备驱动）以及与 sigfish-haru 的概念验证集成，确保了可复现性和可扩展性。