[论文解读] Lightning-fast adaptive immune receptor similarity search by symmetric deletion lookup

Touchchai Chotisorayuth, Andreas Tiffeau-Mayer|arXiv (Cornell University)|Mar 14, 2024

Artificial Immune Systems Applications被引用 4

一句话总结

本文提出 XTNeighbor，一种基于对称删除查找（SymDel）的 GPU 并行化算法，用于实现闪电般快速的自适应免疫受体（AIR）相似性搜索，通过 SymDel 技术将基于 Levenshtein 距离的邻居识别速度提升数个数量级。对于一百万个序列，XTNeighbor 在消费级硬件上可在数秒内识别出所有编辑距离在两以内的序列对，显著优于现有方法，实现了可扩展的队列级免疫测序分析。

ABSTRACT

An individual's adaptive immune receptor (AIR) repertoire records immune history due to the exquisite antigen specificity of AIRs. Reading this record requires computational approaches for inferring receptor function from sequence, as the diversity of possible receptor-antigen pairs vastly outstrips experimental knowledge. Identification of AIRs with similar sequence and thus putatively similar function is a common performance bottleneck in these approaches. Here, we benchmark the time complexity of five different algorithmic approaches to radius-based search for Levenshtein neighbors. We show that a symmetric deletion lookup approach, originally proposed for spell-checking, is particularly scalable. We then introduce XTNeighbor, a variant of this algorithm that can be massively parallelized on GPUs. For one million input sequences, XTNeighbor identifies all sequence neighbors that differ by up to two edits in seconds on commodity hardware, orders of magnitude faster than existing approaches. We also demonstrate how symmetric deletion lookup can speed up search with more complex sequence-similarity metrics such as TCRdist. Our contribution is poised to greatly speed up existing analysis pipelines and enable processing of large-scale immunosequencing data without downsampling.

研究动机与目标

• 为解决免疫 repertoire 分析流程中常见的 AIR 相似性搜索性能瓶颈。
• 开发一种可扩展、高性能的算法，用于识别给定 Levenshtein 距离阈值内的 AIR 序列。
• 实现在不进行下采样的情况下，对大规模免疫测序数据集的高效处理。
• 将原本用于拼写检查的对称删除查找技术——扩展至自适应免疫受体分析领域。
• 证明基于 SymDel 的搜索可在 GPU 上高效并行化，适用于真实世界免疫学数据工作负载。

提出的方法

• 将拼写检查中使用的对称删除查找（SymDel）技术适配至 AIR 序列邻居识别，通过生成并比较查询序列和参考序列的删除变体，在指定编辑距离内识别邻居。
• 利用基于精确哈希的匹配方法对删除变体进行高效匹配，识别候选邻居，避免穷举的成对比较。
• 提出 XTNeighbor，即 SymDel 的 GPU 优化版本，支持跨数千个线程的大规模并行处理。
• 采用两阶段处理流程：第一阶段，通过删除变体生成候选邻居；第二阶段，后处理去除重复项并过滤掉超过编辑距离阈值的序列对。
• 将 SymDel 模式扩展以支持复杂相似性度量（如 TCRdist），将 SymDel 作为快速预筛选器。
• 实现 CPU 和 GPU 两个版本的算法，其中 GPU 版本可在一百万个序列上实现亚秒级搜索。

Figure 1: Symmetric deletion lookup by examples. (A) Reference sequences with insertions are identified by matches between their deletion variants and the queries. (B) References sequences with substitutions are identified by matches among deletion variants of both reference and query sequences. (C)

实验结果

研究问题

• RQ1 对称删除查找能否有效适配以加速高编辑距离阈值下的 AIR 相似性搜索？
• RQ2 在真实免疫测序数据集上，与组合查找及其他精确搜索方法相比，基于 SymDel 的搜索扩展性如何？
• RQ3 SymDel 在 GPU 上的并行化程度如何，能否实现队列级 AIR 分析的交互式性能？
• RQ4 在不牺牲准确性的前提下，SymDel 能否作为更复杂相似性度量（如 TCRdist）的快速预筛选器？
• RQ5 当应用于具有不同序列多样性和相似性阈值的真实 AIR 数据集时，SymDel 相较于现有工具的性能提升幅度如何？

主要发现

• 在消费级硬件上，XTNeighbor 对一百万个输入序列在 Levenshtein 距离为 2 以内的所有 AIR 序列邻居识别时间少于十秒，相比基线方法提速约 100 倍。
• 与替代方法相比，SymDel 查找算法在 Levenshtein 距离阈值 d=2 时实现约 100 倍加速，在 d=3 时实现约 20 倍加速。
• 尽管采用了激进的预筛选策略，超过 99% 的序列对在 TCRdist 约 20 和约 30 的范围内被保留，分别对应 d=2 和 d=3，表明召回率高且信息损失极小。
• SymDel 方法可高效过滤候选邻居，将成对比较次数减少数个数量级，同时保持高准确性。
• GPU 并行化的 XTNeighbor 实现具有良好的可扩展性，使大规模队列数据规模下的精确相似性搜索成为可能。
• 将 SymDel 集成为基于 TCRdist 的搜索预筛选器，可保持高敏感性并大幅减少下游计算时间。

Figure 2: Benchmark of AIR sequence similarity search algorithms on CPU. Time measured in seconds for near-sequence neighbor search as a function of input size for various algorithms at Levenshtein distance threshold (A) $d=1$ and (B) $d=2$ . Lines are linear fits on log-log scale. (C) Side-by-side