[논문 리뷰] A DNA Sequence Compression Algorithm Based on LUT and LZ77

Sheng Bao, Chen Shi외 2명|ArXiv.org|2005. 04. 25.

Algorithms and Data Compression참고 문헌 6인용 수 4

한 줄 요약

이 논문은 LUT 기반 사전 인코딩 단계와 LZ77 압축을 조합한 DNA 서열 압축 알고리즘을 제안하며, 평균 압축 비율을 1.9 비트/기저 또는 이하로 달성한다. N을 제외한 3기저 DNA 서열을 사전에 64개의 ASCII 문자로 매핑하는 LUT를 사용한 후 LZ77를 적용함으로써, 빠르고 메모리 소비가 적으며 쉽게 구현 가능한 압축 기법을 제공하며, 기존의 LZ77 및 기타 알고리즘보다 실행 속도에서 뛰어나면서도 경쟁 가능한 압축 효율을 유지한다.

ABSTRACT

This article introduces a new DNA sequence compression algorithm which is based on LUT and LZ77 algorithm. Combined a LUT-based pre-coding routine and LZ77 compression routine,this algorithm can approach a compression ratio of 1.9bits \slash base and even lower.The biggest advantage of this algorithm is fast execution, small memory occupation and easy implementation.

연구 동기 및 목표

• 최소한의 계산 비용으로 높은 압축 비율을 달성하는 DNA 서열 압축 방법을 개발하는 것.
• 현행 FPGA 설계에서의 LUT(Look-Up Table) 기법의 효율성을 생물학적 서열 압축에 활용하는 것.
• 기존 생물정보학 압축 알고리즘 대비 실행 시간과 메모리 사용량을 줄이는 것.
• 데이터베이스 저장 및 검색을 위한 DNA 서열에 대해 거의 즉각적인 복구가 가능한 압축 기법을 제공하는 것.

제안 방법

• 알고리즘은 3기저 DNA 서열(모든 N 제외)을 사용자 정의 64문자 LUT를 통해 단일 ASCII 문자로 매핑하는 사전 인코딩 단계를 사용한다.
• LUT는 A, T, G, C로 이루어진 모든 가능한 3기저 조합을 출력 가능한 ASCII 문자로 매핑하여, 압축 파일 내에서 원본 기저 서열을 그대로 저장할 필요 없도록 한다.
• N(알 수 없는 기저)이 포함된 서열은 연속된 N의 개수 n에 따라 ‘/n/’으로 삽입함으로써 서열의 무결성을 유지한다.
• 3기저 조합이 아닌 세그먼트(3개 미만의 N이 아닌 기저)는 인코딩 없이 그대로 출력 파일에 기록된다.
• 사전 인코딩된 출력은 이후 LZ77 알고리즘을 통해 추가로 파일 크기를 줄이는 데 사용된다.
• 복구 과정은 반대로 진행되며, LUT 기반 복호화로 원본 3기저 서열을 재구성하고, LZ77 복구를 통해 전체 DNA 서열을 복원한다.

실험 결과

연구 질문

• RQ1 LUT 기반 사전 인코딩 단계가 실행 시간을 줄이며 DNA 서열 압축 효율을 크게 향상시킬 수 있는가?
• RQ2 LZ77와 함께 LUT 사전 인코딩을 사용할 경우, LZ77 단독 사용 대비 압축 비율과 속도 측면에서 어떻게 비교되는가?
• RQ3 제안된 방법이 대용량 DNA 파일에 대해 높은 압축 비율과 1초 미만의 처리 시간을 동시에 달성할 수 있는가?
• RQ4 기타 압축 알고리즘 대비 사전 인코딩 단계가 얼마나 메모리 사용량을 줄이고 구현을 단순화하는가?

주요 결과

• 제안된 알고리즘은 평균적으로 1.9 비트/기저의 압축 비율을 달성하였으며, 일부 서열은 최소 1.75 비트/기저까지 도달하였다.
• 압축 및 복구의 평균 실행 시간은 17.647밀리초로, 평균 65밀리초가 소요되는 Gzip보다 뚜렷이 빠르게 작동하였다.
• 대부분의 서열에 대해 사전 인코딩 단계는 10,000 CPU 클럭 사이클 미만으로 수행되어 최소한의 계산 오버헤드를 보였다.
• 압축 파일 크기는 사전 인코딩만으로도 약 75% 수준으로 줄어들었으며, LZ77가 약간의 그러나 측정 가능한 개선 효과를 제공하였다.
• 알고리즘은 매우 높은 메모리 효율성을 보이며, 거의 즉각적인 복구 기능을 지원하여 데이터베이스 저장에 적합하다.
• 특히 실시간 응용 프로그램에서 기존의 LZ77 및 최신 기술 대비 빠른 속도와 높은 압축 비율을 모두 확보하였다.