[논문 리뷰] GRIM-filter: fast seed filtering in read mapping using emerging memory technologies

Jeremie S. Kim, Damla Senol외 8명|arXiv (Cornell University)|2017. 08. 14.

Genomics and Phylogenetic Studies참고 문헌 27인용 수 17

한 줄 요약

GRIM-Filter는 3D 스택드 메모리의 프로세싱-인-메모리(PIM) 기능을 활용하여 DNA 리드 매핑을 가속화하는 새로운 시드 필터링 알고리즘입니다. 굵은 분할된 게놈 세그먼트 표현과 대량 병렬 메모리 내 비트 벡터 연산을 통해 거짓 음성률를 5.59배에서 6.41배까지 감소시키며, 5% 오차 한계에서 기존 최고 성능의 mappers인 mrFAST와 FastHASH를 기준으로 종단 간 속도 향상을 1.81배에서 3.65배까지 달성합니다.

ABSTRACT

Motivation: Seed filtering is critical in DNA read mapping, a process where billions of DNA fragments (reads) sampled from a donor are mapped onto a reference genome to identify genomic variants of the donor. Read mappers 1) quickly generate possible mapping locations (i.e., seeds) for each read, 2) extract reference sequences at each of the mapping locations, and then 3) check similarity between each read and its associated reference sequences with a computationally expensive dynamic programming algorithm (alignment) to determine the origin of the read. Location filters come into play before alignment, discarding seed locations that alignment would have deemed a poor match. The ideal location filter would discard all poor matching locations prior to alignment such that there is no wasted computation on poor alignments. Results: We propose a novel filtering algorithm, GRIM-Filter, optimized to exploit emerging 3D-stacked memory systems that integrate computation within a stacked logic layer, enabling processing-in-memory (PIM). GRIM-Filter quickly filters locations by 1) introducing a new representation of coarse-grained segments of the reference genome and 2) using massively-parallel in-memory operations to identify read presence within each coarse-grained segment. Our evaluations show that for 5% error acceptance rates, GRIM-Filter eliminates 5.59x-6.41x more false negatives and exhibits end-to-end speedups of 1.81x-3.65x compared to mappers employing the best previous filtering algorithm.

연구 동기 및 목표

• 시드 필터의 도입으로 인해 정렬 단계에서 필터링 단계로 메모리 대역폭 장벽이 이동함에 따라 이에 대응하기 위해.
• 향후 등장할 3D 스택드 DRAM 기술의 높은 내부 대역폭과 메모리 내 연산 기능을 효율적으로 활용할 수 있는 필터링 알고리즘을 설계하기 위해.
• 비싼 동적 프로그래밍 단계 이전에 비가능한 매핑 위치를 신속히 제거하여 낭비되는 정렬 계산을 최소화하기 위해.
• 특히 해시 테이블 기반의 매핑 툴과도 호환되는 보편적이고 고성능의 필터를 개발하기 위해.
• 특정 메모리 아키텍처에 맞춘 알고리즘 혁신이 생물정보학 워크로드의 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• GRIM-Filter는 참조 게놈을 굵은 분할된 세그먼트로 표현하며, 각 세그먼트는 작은 리드 세그먼트의 존재 여부를 나타내는 사전 계산된 비트 벡터와 연결됩니다.
• 3D 스택드 DRAM에서 대량 병렬 메모리 내 연산을 사용하여 각 리드의 세그먼트 중 몇 개가 게놈 세그먼트에 포함되어 있는지 수를 세웁니다.
• 세그먼트 수가 임계값 이하일 경우, 해당 매핑 위치는 나쁜 매칭으로 간주되어 이후 정렬 단계에서 제거됩니다.
• 알고리즘은 프로세싱-인-메모리(PIM) 워크로드에 최적화되어 있으며, 데이터 이동을 최소화하고 3D 스택드 메모리의 높은 내부 대역폭을 활용합니다.
• 비트 벡터 표현은 메모리 계층 내에서 효율적이고 병렬적인 비교 연산을 가능하게 하여 계산 지연을 감소시킵니다.
• 이 방법은 기존 필터 및 정렬기와 수직적(orthogonal)이므로, 다른 최적화 기법과 함께 조합하여 추가 성능 향상을 이룰 수 있습니다.

실험 결과

연구 질문

• RQ1 3D 스택드 DRAM의 높은 대역폭과 메모리 내 연산 기능을 완전히 활용할 수 있는 시드 필터링 알고리즘을 설계할 수 있는가?
• RQ2 기존 필터 대비 이 알고리즘이 얼마나 높은 필터링 속도를 유지하면서도 거짓 음성률를 감소시킬 수 있는가?
• RQ3 기존 필터링 방식을 PIM 최적화 알고리즘으로 대체함으로써 종단 간 리드 매핑에서 얼마나 많은 성능 향상을 달성할 수 있는가?
• RQ4 제안된 필터링 방법은 다양한 리드 매핑 툴과 데이터셋에 보편적으로 적용 가능한가?
• RQ5 알고리즘-하드웨어 공동 설계를 통해 시드 필터링 단계의 메모리 대역폭 장벽을 효과적으로 극복할 수 있는가?

주요 결과

• GRIM-Filter는 5% 오차 한계에서 FastHASH 대비 거짓 음성률를 5.59배에서 6.41배까지 감소시켜 민감도를 크게 향상시켰습니다.
• 여러 벤치마크에서 mrFAST와 FastHASH를 사용하는 기존 최고 성능의 매핑 툴 대비 종단 간 속도 향상을 1.81배에서 3.65배까지 달성했습니다.
• 거짓 음성 매핑 위치에서의 계산 시간을 평균 83.7% 감소시켜 낭비되는 정렬 작업을 최소화했습니다.
• 오차 한계가 높을수록 필터링 효율성이 증가함에 따라 성능 향상도 증가하였으며, 특히 5%에서 가장 큰 성과를 보였습니다.
• GRIM-Filter는 어떤 리드 매핑 툴과도 호환되며, 다른 하드웨어 최적화 컴ponent와 조합하여 추가 가속을 이룰 수 있습니다.
• 이 연구는 3D 스택드 DRAM과 같은 신개념 메모리 기술에 맞춰 설계된 알고리즘적 접근이 생물정보학 워크로드에서 메모리 대역폭 장벽을 효과적으로 극복할 수 있음을 입증했습니다.