[논문 리뷰] DNA Lossless Differential Compression Algorithm based on Similarity of Genomic Sequence Database

Heba M. Afify, Muhammad Najam-ul-Islam외 1명|arXiv (Cornell University)|2011. 09. 01.

Algorithms and Data Compression인용 수 3

한 줄 요약

이 논문은 유전체 서열 데이터베이스를 위한 손실 없는 차등 압축 알고리즘을 제안하며, 서열 유사성을 활용하여 개별 서열 대신 기준 서열과 그로부터의 차이(델타)를 저장함으로써 압축을 실현한다. 차이를 인코딩하기 위해 옵코드 테이블을 사용한 방법은 세 가지 유전체 데이터셋에서 최대 195배의 압축(99.4% 공간 절감)을 달성하였으며, 서열 집합에 대한 사전 통계 지식이 필요하지 않다.

ABSTRACT

Modern biological science produces vast amounts of genomic sequence data. This is fuelling the need for efficient algorithms for sequence compression and analysis. Data compression and the associated techniques coming from information theory are often perceived as being of interest for data communication and storage. In recent years, a substantial effort has been made for the application of textual data compression techniques to various computational biology tasks, ranging from storage and indexing of large datasets to comparison of genomic databases. This paper presents a differential compression algorithm that is based on production of difference sequences according to op-code table in order to optimize the compression of homologous sequences in dataset. Therefore, the stored data are composed of reference sequence, the set of differences, and differences locations, instead of storing each sequence individually. This algorithm does not require a priori knowledge about the statistics of the sequence set. The algorithm was applied to three different datasets of genomic sequences, it achieved up to 195-fold compression rate corresponding to 99.4% space saving.

연구 동기 및 목표

• 대규모 유전체 서열 데이터셋을 효율적으로 저장하는 데 도전하는 문제를 해결하기 위해.
• 유사한 서열 간의 높은 유사성 특성을 활용하여 유전체 데이터베이스의 저장 오버헤드를 줄이기 위해.
• 서열 통계에 대한 사전 지식이 필요하지 않은 압축 알고리즘을 개발하기 위해.
• 기준 서열과 그로부터의 차이만 저장하여 저장소 최적화를 위해.
• 손실 없는 원본 서열 복원을 가능하게 하면서도 높은 압축 비율을 달성하기 위해.

제안 방법

• 서열 유사성에 기반하여 데이터셋에서 기준 서열을 선택한다.
• 옵코드 테이블을 사용하여 기준 서열과 다른 모든 서열 간의 차이 서열(델타)를 계산한다.
• 재구성 가능하도록 기준 서열 내 위치와 함께 차이를 저장한다.
• 옵코드 테이블은 염기 변화(예: A→G)를 압축된 코드로 매핑하여 반복 패턴에 대한 저장소 절감을 도모한다.
• 데이터의 통계 모델에 의존하지 않아 다양한 유전체 데이터셋에 적용 가능한 유연성을 확보한다.
• 압축된 데이터 구조는 기준 서열, 위치 정보가 포함된 차이 목록, 그리고 옵코드 테이블로 구성된다.

실험 결과

연구 질문

• RQ1 서열 유사성에 기반한 차등 압축이 유전체 데이터 저장 요구량을 크게 줄일 수 있는가?
• RQ2 데이터에 대한 사전 통계 가정 없이도 유사성 기반 차등 압축 접근법이 얼마나 효과적인가?
• RQ3 이 방법을 실제 유전체 서열 데이터셋에 적용했을 때 도달할 수 있는 압축 비율은 무엇인가?
• RQ4 유사 서열에서 고압축을 달성하면서도 손실 없는 원본 서열 복원을 유지할 수 있는가?
• RQ5 옵코드 테이블 설계가 유전체 데이터의 압축 효율성에 어떤 영향을 미치는가?

주요 결과

• 해당 알고리즘은 테스트된 유전체 데이터셋에서 최대 195배의 압축 비율을 달성하였다.
• 개별 서열 저장 대비 최대 99.4%의 저장소 절감 효과를 보였다.
• 서열 통계에 대한 사전 지식이 필요하지 않아 보다 광범위한 적용 가능성이 향상되었다.
• 차이를 인코딩하기 위해 옵코드 테이블을 사용한 것이 압축 효율성 향상에 크게 기여하였다.
• 세 가지 서로 다른 유전체 서열 데이터셋에서 검증되었으며, 일관된 고성능을 입증하였다.
• 기준 서열과 델타 서열 복원을 통해 원본 서열의 손실 없는 복원이 완전히 지원된다.