[논문 리뷰] AliBI: An Alignment-Based Index for Genomic Datasets

Héctor Ferrada, Travis Gagie외 2명|arXiv (Cornell University)|2013. 07. 24.

Algorithms and Data Compression참고 문헌 23인용 수 3

한 줄 요약

AliBI는 기존의 FM-index보다 공간 효율성과 임의 접근 성능을 햖थ고, 사전에 정렬된 인간 게놈을 활용하여 유전체 데이터셋을 위한 새로운 기반의 색인(aliBI)을 제안한다. 색인 구조에 직접적으로 정렬 정보를 통합하고, LZ77 파싱 대신 정렬 기반 필터링을 사용함으로써 전처리 오버헤드를 줄이고, 약간의 패턴 매칭을 더 빠르게 수행하면서도 압축된 저장 공간을 유지한다.

ABSTRACT

With current hardware and software, a standard computer can now hold in RAM an index for approximate pattern matching on about half a dozen human genomes. Sequencing technologies have improved so quickly, however, that scientists will soon demand indexes for thousands of genomes. Whereas most researchers who have addressed this problem have proposed completely new kinds of indexes, we recently described a simple technique that scales standard indexes to work on more genomes. Our main idea was to filter the dataset with LZ77, build a standard index for the filtered file, and then create a hybrid of that standard index and an LZ77-based index. In this paper we describe how to our technique to use alignments instead of LZ77, in order to simplify and speed up both preprocessing and random access.

연구 동기 및 목표

• 시퀀싱 기술의 가격 인하와 보급 확산으로 인해 수천 개의 인간 게놈을 효율적으로 색인화하는 데 도전하는 문제를 해결하기 위해.
• 유전체 반복성의 잠재적 활용이 제한되어 있어, 표준 FM-index가 게놈 수에 거의 선형적으로 증가하는 공간 비용을 유발하는 문제를 해결하기 위해.
• 기존의 FM-index 인fra구조와의 호환성을 유지하면서도 대규모 유전체 데이터셋에 스케일링 가능한 하이브리드 색인 접근법을 개발하기 위해.
• LZ77 파싱을 정렬 기반 필터링으로 대체함으로써 전처리 시간을 줄이고, 임의 접근 성능을 향상시키기 위해.
• 정렬된 게놈 내의 구조적 중복성을 활용하기 위해 정렬 메타데이터를 색인에 직접 통합함으로써 별도의 정렬 저장을 방지하기 위해.

제안 방법

• 기본 참조에 정렬된 유전체 서열(사전에 정렬된)을 입력으로 사용하며, 패턴 길이의 상한(M)과 편집 거리(K)를 사전에 설정한다.
• 정렬된 게놈 내에서 불일치(유전자다형성 또는 인del)로부터 거리 M+K−1 이내의 모든 문자를 표시하고, 참조 게놈의 모든 문자를 표시한다.
• 표시되지 않은 영역을 양쪽 끝에서 각각 M+K−1 문자만큼 확장하여, 보조적 일치가 모두 표시되지 않은 영역에 포함되도록 보장한다.
• 모든 표시된 서브스트링(참조 포함)을 K+1개의 '#' 문자로 분리하여 연결하고, 각 고유한 서브스트링은 한 번만 저장하며 관련 포인터를 유지한다.
• 연결된 문자열에 표준 FM-index를 구축하여, 빠른 약간의 패턴 매칭과 임의 접근을 지원한다.
• 참조 게놈 크기로 제한된 격자 위에 2방향 범위 보고 데이터 구조를 사용하여, 참조 내의 주요 일치를 정렬된 게놈 내의 보조 일치로 매핑하며, 게놈 간의 위치 일致성을 활용한다.

실험 결과

연구 질문

• RQ1 정렬 정보를 하이브리드 유전체 색인에서 LZ77 파싱을 대체하는 데 사용할 수 있는가? 이는 전처리 비용을 줄이고 성능을 향상시킬 수 있는가?
• RQ2 색인 구조에 정렬 메타데이터를 직접 통합하면, 별도로 정렬을 저장하는 것과 비교해 상당한 공간 절약 효과를 얻을 수 있는가?
• RQ3 정렬 기반 필터링을 사용함으로써 약간의 패턴 매칭에서의 임의 접근 작업이 단순화되고 가속화될 수 있는가?
• RQ4 LZ77 기반 또는 표준 FM-index 방법과 비교했을 때, 정렬 기반 색인의 성능은 색인 크기, 전처리 시간, 쿼리 속도 측면에서 어떻게 다른가?
• RQ5 정렬된 게놈 간의 구조적 유사성은 보조 일치 복구에 사용되는 범위 보고 데이터 구조를 압축하는 데 얼마나 기여할 수 있는가?

주요 결과

• AliBI는 LZ77 파싱을 정렬 기반 필터링으로 대체하여 전체 LZ77 파싱을 계산할 필요 없이 전처리 시간을 줄였다.
• 색인에 정렬 정보를 직접 통합함으로써 별도의 정렬 저장을 피하고, 구조적 특성을 활용하여 공간 사용을 줄였다.
• LZ77 파싱을 제거하고 정렬 메타데이터를 사용함으로써 주요 일치 처리 속도가 향상되어, 임의 접근 성능 향상이 기대된다.
• 범위 보고 데이터 구조의 크기는 전체 데이터셋이 아닌 참조 게놈 크기로 제한되어 있어, 더 효율적인 공간 사용과 더 빠른 쿼리가 가능하다.
• 정렬된 게놈 간의 위치 일치성을 활용하여, 압축된 2방향 범위 보고 데이터 구조를 통해 보조 일치를 효율적으로 복구할 수 있다.
• 초기 예측에 따르면, 수천 개의 게놈으로 확장할 경우 표준 FM-index보다 AliBI가 훨씬 작고 빠를 것으로 기대된다.