[논문 리뷰] A massively parallel algorithm for constructing the BWT of large string sets

Jacopo Pantaleoni|arXiv (Cornell University)|2014. 10. 02.

Algorithms and Data Compression참고 문헌 8인용 수 4

한 줄 요약

이 논문은 유전체 읽기와 같은 대규모 문자열 집합의 Burrows-Wheeler 변환(BWT)과 FM-인덱스를 구축하기 위한 다량의 병렬 처리가 가능한 증분 알고리즘인 set-bwte를 제안한다. 이는 GPU 가속된 접미사 배열 구축과 CPU 기반 순위 계산을 활용한 블록 단위의 전방 처리 방식을 사용하며, 외부 메모리 병목 현상을 최소화하여 장거리 읽기에서 최대 6.5배의 성능 향상을 달성한다. 이 알고리즘은 오직 O(n log σ)의 시스템 메모리와 일정한 고대역폭 메모리만을 사용한다.

ABSTRACT

We present a new scalable, lightweight algorithm to incrementally construct the BWT and FM-index of large string sets such as those produced by Next Generation Sequencing. The algorithm is designed for massive parallelism and can effectively exploit the combination of low capacity high bandwidth memory and slower external system memory typical of GPU accelerated systems. Particularly, for a string set of n characters from an alphabet with σsymbols, it uses a constant amount of high-bandwidth memory and at most 3n log(σ) bits of system memory. Given that deep memory hierarchies are becoming a pervasive trait of high performance computing architectures, we believe this to be a relevant feature. The implementation can handle reads of arbitrary length and is up to 2 and respectively 6.5 times faster than state-of-the-art for short and long genomic reads

연구 동기 및 목표

• 대규모 유전체 문자열 집합의 BWT 구축에서 느린 외부 메모리 액세스로 인한 성능 병목 현상을 해결하기 위해.
• 재계산 없이도 새로운 시퀀스를 동적으로 추가할 수 있도록 증분적인 BWT 및 FM-인덱스 구축을 가능하게 하기 위해.
• 현대의 GPU 가속 시스템과 깊은 메모리 계층을 효과적으로 활용할 수 있는 고도로 병렬화된 알고리즘 설계를 위해.
• 오직 O(n log σ)의 시스템 메모리와 일정한 고대역폭 메모리만을 사용하여 메모리 사용량을 줄여 대규모 생물정보학 워크로드에 적합하게 하기 위해.

제안 방법

• 입력 문자열 집합을 블록으로 분할하고 순차적으로 전방 루프에서 처리하여 증분 업데이트를 가능하게 한다.
• 각 블록에 대해 32비트 워드 키를 사용한 다량의 병렬 GPU 기반 MSD 래디스 정렬을 통해 접미사 배열을 구축한다.
• 각 블록에 대해 기존 외부 BWT에 대한 Ferragina 등이 제안한 순위 렘의 역방향 적용을 통해 기존 BWT에 대한 접미사의 순위를 계산하며, 이는 블록당 O(|Bint|)의 작업량을 보장한다.
• 각 블록의 BWT 기호를 그들의 사전순 순위에 따라 재정렬하고, 고도로 병렬화된 삽입을 위한 새로운 페이지 기반 데이터 구조를 사용해 외부 BWT에 삽입한다.
• I/O, GPU 접미사 정렬, CPU 기반 순위 계산 및 삽입 단계를 다중 버퍼링을 통해 겹쳐 처리하여 처리량을 최대화한다.
• 페이지 기반 배열과 발생 횟수 카운터를 유지하며, 페이지 기반 배열에 2n log σ 비트, 카운터에 최대 n log σ 비트를 사용하여 총 시스템 메모리 사용량을 ≤ 3n log σ 비트로 제한한다.

실험 결과

연구 질문

• RQ1 BWT 구축 알고리즘이 다량의 병렬 처리와 동시에 증분적일 수 있는가? 즉, 색인에 대한 동적 업데이트가 가능한가?
• RQ2 대규모 BWT 구축에서 외부 메모리 액세스의 성능 병목 현상을 어떻게 줄일 수 있는가?
• RQ3 깊은 메모리 계층을 가진 GPU 가속 BWT 구축에서 높은 처리량을 달성하기 위한 최적의 메모리 액세스 패턴은 무엇인가?
• RQ4 블록 단위의 전방 처리 방식이 현대의 공유 메모리 시스템에서 후방 처리 또는 블록 단위 정렬 대비 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 짧은 유전체 읽기(101bp)의 경우, set-bwte는 이전까지 가장 빠르던 비증분 알고리즘(ropebwt-bcr)보다 최대 2배 빠르며, 최신의 증분 알고리즘(ropebwt2)보다 거의 3배 빠르다.
• 더 긴 읽기(875bp)의 경우, ropebwt2 대비 성능 향상이 6.5배로 증가하여 독장 길이에 따라 우수한 확장성을 보여준다.
• Xeon E5-2597-v2 시스템에서 짧은 읽기의 경우 순위 계산이 성능 병목 현상이었으며, GPU 접미사 정렬 단계보다 거의 3배 더 많은 시간을 소비했다.
• NA12878 데이터셋에서 삽입 처리량은 98 Mbp/s, 접미사 정렬 처리량은 77 Mbp/s를 기록했으며, 순위 계산 단계는 가장 느린 37 Mbp/s를 기록했다.
• 알고리즘은 일정한 고대역폭 메모리만을 사용하고 최대 3n log σ 비트의 시스템 메모리만을 사용하여 대규모 응용 분야에 있어 메모리 효율적이다.
• 알고리즘의 성능는 평균 독장 길이에 대해 상대적으로 민감하지 않아 다양한 유전체 데이터셋에 걸쳐 뛰어난 내구성을 보여준다.