[논문 리뷰] Lightning-fast adaptive immune receptor similarity search by symmetric deletion lookup

Touchchai Chotisorayuth, Andreas Tiffeau-Mayer|arXiv (Cornell University)|2024. 03. 14.

Artificial Immune Systems Applications인용 수 4

한 줄 요약

이 논문은 대칭 삭제 검색(SymDel)을 사용하여 GPU 병렬 처리가 가능한 XTNeighbor를 소개한다. 이는 Levenshtein 거리 기반 이웃 식별을 수십 배에서 수백 배 빠르게 하는 알고리즘이다. 일반 하드웨어에서 100만 개의 시퀀스에 대해 두 번 이내의 편집 거리 내 이웃을 수초 만에 식별할 수 있으며, 기존 방법에 비해 훨씬 뛰어나고, 대규모 코hort 수준의 면역시퀀싱 분석을 가능하게 한다.

ABSTRACT

An individual's adaptive immune receptor (AIR) repertoire records immune history due to the exquisite antigen specificity of AIRs. Reading this record requires computational approaches for inferring receptor function from sequence, as the diversity of possible receptor-antigen pairs vastly outstrips experimental knowledge. Identification of AIRs with similar sequence and thus putatively similar function is a common performance bottleneck in these approaches. Here, we benchmark the time complexity of five different algorithmic approaches to radius-based search for Levenshtein neighbors. We show that a symmetric deletion lookup approach, originally proposed for spell-checking, is particularly scalable. We then introduce XTNeighbor, a variant of this algorithm that can be massively parallelized on GPUs. For one million input sequences, XTNeighbor identifies all sequence neighbors that differ by up to two edits in seconds on commodity hardware, orders of magnitude faster than existing approaches. We also demonstrate how symmetric deletion lookup can speed up search with more complex sequence-similarity metrics such as TCRdist. Our contribution is poised to greatly speed up existing analysis pipelines and enable processing of large-scale immunosequencing data without downsampling.

연구 동기 및 목표

• 면역표본 분석 파이프라인에서 흔히 발생하는 AIR 유사성 검색의 성능 저하 문제를 해결하기 위해.
• 지정된 Levenshtein 거리 임계값 내에서 AIR 시퀀스를 빠르게 식별할 수 있는 확장성 있고 고성능 알고리즘을 개발하기 위해.
• 다운샘플링 없이 대규모 면역시퀀싱 데이터셋을 효율적으로 처리할 수 있도록 하기 위해.
• 원래 문법 검사에서 사용되던 대칭 삭제 검색(SymDel)을 적응 면역 수용체 분석 분야로 확장하기 위해.
• SymDel 기반 검색이 실세계 면역학적 데이터 워크로드에서 GPU에서 효율적으로 병렬화될 수 있음을 보여주기 위해.

제안 방법

• 문법 검사에서 유래한 대칭 삭제 검색(SymDel) 기법을 응용하여, 쿼리 및 기준 시퀀스의 삭제 변형을 생성하고 비교함으로써 지정된 편집 거리 내 이웃을 식별한다.
• 삭제 변형에 대한 정확한 해시 기반 매칭을 통해 후보 이웃을 효율적으로 식별함으로써 전수 비교를 피한다.
• 수천 개의 스레드를 통해 대규모 병렬 처리가 가능한 SymDel의 GPU 최적화 버전인 XTNeighbor를 도입한다.
• 이중 단계 프로세스를 사용한다: 첫 번째 단계에서 SymDel이 삭제 변형을 통해 후보 이웃을 생성하고, 두 번째 단계에서 중복 제거 및 허용 허용 거리 초과 쌍을 필터링한다.
• SymDel 기반의 빠른 프리필터로 TCRdist와 같은 복잡한 유사도 메트릭을 지원하기 위해 SymDel 패러다임을 확장한다.
• CPU 및 GPU 버전 모두로 알고리즘을 구현하였으며, GPU 버전은 100만 개 시퀀스에 대해 밀리초 이내 검색을 가능하게 한다.

Figure 1: Symmetric deletion lookup by examples. (A) Reference sequences with insertions are identified by matches between their deletion variants and the queries. (B) References sequences with substitutions are identified by matches among deletion variants of both reference and query sequences. (C)

실험 결과

연구 질문

• RQ1 대칭 삭제 검색(SymDel)이 높은 편집 거리 임계값에서도 AIR 유사성 검색을 효과적으로 가속화할 수 있는가?
• RQ2 실제 면역시퀀싱 데이터셋에서 SymDel 기반 검색이 조합적 검색 및 기타 정확한 검색 방법에 비해 어떻게 확장되는가?
• RQ3 SymDel이 GPU에서 얼마나 효율적으로 병렬화되어 코hort 수준의 AIR 분석에서 인터랙티브 수준 성능을 달성할 수 있는가?
• RQ4 SymDel이 정확도를 손상시키지 않고 TCRdist와 같은 더 복잡한 유사도 메트릭의 빠른 프리필터로 사용될 수 있는가?
• RQ5 실세계 AIR 데이터셋에 적용했을 때, SymDel은 기존 도구에 비해 얼마나 높은 성능 향상을 보이는가? 이는 다양한 시퀀스 다양성과 유사도 임계값을 고려할 때이다.

주요 결과

• XTNeighbor는 일반 하드웨어에서 100만 개 입력 시퀀스에 대해 Levenshtein 거리 2 이내의 모든 AIR 시퀀스 이웃을 10초 이내로 식별하며, 기준 방법 대비 약 100배 빠른 성능 향상을 보였다.
• SymDel 검색 알고리즘은 Levenshtein 거리 기준값 d=2일 때 약 100배, d=3일 때 약 20배의 성능 향상을 달성했다.
• 강력한 프리필터링에도 불구하고, TCRdist ~20 및 ~30 범위 내에서 각각 d=2 및 d=3일 때 99% 이상의 시퀀스 쌍이 유지되어 높은 재현율과 최소한의 정보 손실을 보였다.
• SymDel 접근법은 후보 이웃의 효율적 필터링을 가능하게 하여, 수십 배에서 수백 배 감소된 전수 비교 횟수를 유지하면서도 정확도를 유지했다.
• GPU 병렬 처리가 적용된 XTNeighbor는 효과적으로 확장 가능하여, 코hort 규모의 데이터 크기에서 정확한 유사성 검색을 실현 가능하게 했다.
• TCRdist 기반 검색에 SymDel을 프리필터로 통합함으로써 높은 감도를 유지하면서도 후속 계산 시간을 극적으로 단축시켰다.

Figure 2: Benchmark of AIR sequence similarity search algorithms on CPU. Time measured in seconds for near-sequence neighbor search as a function of input size for various algorithms at Levenshtein distance threshold (A) $d=1$ and (B) $d=2$ . Lines are linear fits on log-log scale. (C) Side-by-side