[论文解读] LISA: Towards Learned DNA Sequence Search

Darryl Ho, Jialin Ding+5 more|arXiv (Cornell University)|Oct 10, 2019

Genomics and Phylogenetic Studies参考文献 18被引用 11

一句话总结

LISA 引入了一种学习型索引方法，通过建模参考基因组中的后缀分布来加速精确的 DNA 序列搜索，将 FM-index 扩展为基于学习的排名方法（RMI），以减少查询时间。在对人类基因组执行 5000 万次查询的评估中，LISA 相较于高度优化的 FM-index 实现，实现了最高达 4 倍的加速，证明了机器学习增强的基因组工作负载在保持精确语义保证下的可行性。

ABSTRACT

Next-generation sequencing (NGS) technologies have enabled affordable sequencing of billions of short DNA fragments at high throughput, paving the way for population-scale genomics. Genomics data analytics at this scale requires overcoming performance bottlenecks, such as searching for short DNA sequences over long reference sequences. In this paper, we introduce LISA (Learned Indexes for Sequence Analysis), a novel learning-based approach to DNA sequence search. As a first proof of concept, we focus on accelerating one of the most essential flavors of the problem, called exact search. LISA builds on and extends FM-index, which is the state-of-the-art technique widely deployed in genomics tool-chains. Initial experiments with human genome datasets indicate that LISA achieves up to a factor of 4X performance speedup against its traditional counterpart.

研究动机与目标

• 为解决高通量基因组数据分析中的性能瓶颈，特别是针对长参考序列上的精确 DNA 序列搜索。
• 探索机器学习是否能够加速基于 FM-index 搜索中的后缀区域定位这一关键步骤。
• 设计一种可学习的 FM-index 扩展，以在保持精确匹配语义的同时提升查询性能。
• 在真实基因组工作负载上，将所提出的基于学习的方法与最先进的、高度优化的 FM-index 实现进行性能评估。

提出的方法

• 通过引入基于学习的排名函数（RMI）扩展 FM-index，以预测查询子串在 Burrows-Wheeler 变换（BWT）矩阵中的起始位置。
• 对来自后缀的（字符 K，整数）对分布进行建模，以实现对给定查询的字典序范围的快速查找。
• 在批量查询处理期间，使用双指针技术高效合并多个学习到的范围。
• 采用一种学习型索引结构（RMI），用基于学习的非均匀采样查找替代 FM-index 中的二分查找，以实现更快的位置预测。
• 构建一个下采样查找表作为竞争基线，以评估 RMI 的有效性，尽管其因内存占用过高而不切实际。
• 应用学习模型通过在执行传统 FM-index 操作前缩小 BWT 矩阵中的搜索空间，从而加速精确搜索。

实验结果

研究问题

• RQ1 学习型索引结构是否能在不牺牲语义正确性的情况下提升精确 DNA 序列搜索的性能？
• RQ2 基于学习的排名函数（RMI）与传统二分查找相比，在加速 FM-index 查询解析方面表现如何？
• RQ3 在真实基因组工作负载中，批次大小对学习型索引方法性能的影响是什么？
• RQ4 在相似内存约束下，学习型索引的内存占用和查询时间与下采样查找表基线相比如何？

主要发现

• 在对人类基因组执行的 5000 万个查询中，LISA 相较于高度优化的单线程 FM-index 实现，最高可实现 4 倍的加速。
• 对于 21 个碱基的查询长度，LISA 将平均查询时间从 FM-index 的 1509 个时钟周期降低至 383 个时钟周期，实现了 3.94 倍的加速。
• 随着批次大小的增加，LISA 的性能优势进一步提升，在批次大于 10,000 个查询时超越 FM-index。
• 若将 RMI 替换为同等内存大小的下采样查找表，性能将下降 40%，证明了 RMI 的优越性。
• LISA 中的双指针技术相比二分查找性能提升约 2 倍，但在小批次中因开销过大而效果较差。
• LISA 保持了与传统 FM-index 相同的精确匹配保证，确保了正确性的同时实现了搜索加速。