[논문 리뷰] Engineering Relative Compression of Genomes

Szymon Grabowski, Sebastian Deorowicz|arXiv (Cornell University)|2011. 03. 11.

Algorithms and Data Compression참고 문헌 19인용 수 8

한 줄 요약

이 논문은 같은 종의 다수의 게놈에 대한 새로운 LZ77 스타일의 상대 압축 알고리즘을 제안하며, 기존 방법보다 압축 속도를 10배 이상 빠르게 하고 압축 비율을 30% 향상시켰다. 이는 다른 게놈으로부터 추출한 고빈도 어휘로 기준 서열을 보강하고 파싱 및 인코딩을 최적화하여 달성되었다. 이 방법은 무작위 액세스 기능을 지원하는 대규모 게놈 데이터베이스의 효율적이고 확장 가능한 저장을 가능하게 한다.

ABSTRACT

Technology progress in DNA sequencing boosts the genomic database growth at faster and faster rate. Compression, accompanied with random access capabilities, is the key to maintain those huge amounts of data. In this paper we present an LZ77-style compression scheme for relative compression of multiple genomes of the same species. While the solution bears similarity to known algorithms, it offers significantly higher compression ratios at compression speed over a order of magnitude greater. One of the new successful ideas is augmenting the reference sequence with phrases from the other sequences, making more LZ-matches available.

연구 동기 및 목표

• 고속 시퀀싱 기술로 인해 증가하는 대규모 게놈 데이터베이스의 저장 및 액세스 도전 과제를 해결하기 위해.
• 큰 반복적 인간 게놈 및 종 특이적 게놈에서 유전자 간 상호의존성을 활용하지 못하는 전통적 압축 방법의 한계를 극복하기 위해.
• 고속이며 확장 가능한 압축 체계를 개발하여 압축 비율을 유지하면서도 압축된 데이터에 대한 무작위 액세스를 지원하기 위해.
• 새로운 알고리즘 기법을 통해 기존 상대 압축 알고리즘의 속도와 압축 효율을 향상시키기 위해.
• 개인 맞춤 의료 및 버전 관리 시스템과 같은 대규모 게놈 워크플로우에서의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 다른 게놈에서 추출한 고빈도 어휘로 기준 서열을 보강하여 LZ77 매칭 수를 증가시키기 위해.
• 근사 반복을 암묵적으로 탐지할 수 있는 수정된 LZ-파싱 전략을 사용하여, 속도를 희생시키지 않은 채 매칭 탐지 성능을 향상시키기 위해.
• 매칭 오프셋, 길이, 리터럴을 압축하는 데 효율적인 압축 인코딩 체계를 구현하여 전체 압축 크기를 감소시키기 위해.
• 파싱의 세분성과 속도·압축 비율의 균형을 조절하기 위해 임계값 기반 필터링(M₁ = 13)을 적용하기 위해.
• 13-머(13-mer) 서브시퀀스 빈도 기반 히우리스틱을 사용하여 최적의 기준 서열을 선택함으로써 매칭 가능성 확률을 높이기 위해.
• 향후 매칭 비트벡터에 랭크/선택 데이터 구조를 적용하여 무작위 액세스를 지원하기 위해 확장 가능성을 고려한 설계를 수행하기 위해.

실험 결과

연구 질문

• RQ1 동일 종의 다른 서열에서 유래한 어휘로 기준 서열을 보강함으로써, LZ77 기반 압축 비율을 크게 향상시킬 수 있는가?
• RQ2 대규모 반복적 게놈에서 고속과 고비율을 동시에 달성하기 위해 LZ77 스타일의 파싱을 어떻게 최적화할 수 있는가?
• RQ3 기준 서열 선택이 전체 압축 성능에 미치는 영향은 무엇이며, 이를 자동화하여 효과적으로 적용할 수 있는가?
• RQ4 제안된 체계는 압축된 게놈 데이터에 대해 효율적인 무작위 액세스를 지원할 수 있으며, 이를 위해 어떤 데이터 구조가 필요한가?
• RQ5 이 알고리즘의 압축 성능은 기존 상대 압축기와 비교해 속도와 비율 측면에서 어떻게 뛰어나게 되는가?

주요 결과

• 제안된 알고리즘은 Kuruppu 등 [15]의 이전 최고 성능 알고리즘보다 10배 이상 빠른 압축 속도를 달성하였다.
• 기존 기준 대비 압축 비율이 약 30% 향상되어 뚜렷한 효율성 향상을 입증하였다.
• 다른 게놈의 어휘로 기준 서열을 보강함으로써 이용 가능한 LZ-매칭 수가 증가하여 압축 효율이 직접적으로 향상됨을 확인하였다.
• 다수의 데이터셋에서 최적의 어휘 길이 임계값(M₁)은 13로 확인되었지만, 매우 반복적인 인간 게놈의 경우 속도를 유지하기 위해 더 높은 값을 사용할 필요가 있었다.
• 13-머 빈도 기반 히우리스틱은 대부분의 경우 효과적이었으며, 인간 염색체 데이터에서 유일하게 실패한 경우가 있었다.
• 이 알고리즘은 소프트웨어 버전 관리 시스템 및 역인덱스 압축에서 Re-Pair의 대체 수단으로 사용 가능할 잠재력을 보였지만, 속도 측면에서 약간의 상충 요소가 존재할 수 있다.