[논문 리뷰] Lossy Compression of Quality Values via Rate Distortion Theory

Himanshu Asnani, Dinesh Bharadia외 4명|arXiv (Cornell University)|2012. 07. 21.

Algorithms and Data Compression참고 문헌 25인용 수 5

한 줄 요약

이 논문은 FASTQ 유전자 시퀀싱 파일 내 품질 값의 손실 압축을 위한 비율-왜곡 최적화 프레임워크를 제안한다. 연속 도메인 양자화 모델을 사용하여 품질 값당 1비트 이하로도 압축이 가능하며, 이는 후속 정렬 정확도에 미치는 영향을 최소화하면서도 높은 압축 성능을 달성한다. 이는 손실 압축이 생물학적 유용성을 유지하면서 저장 및 전송 비용을 극적으로 줄일 수 있음을 보여준다.

ABSTRACT

Motivation: Next Generation Sequencing technologies revolutionized many fields in biology by enabling the fast and cheap sequencing of large amounts of genomic data. The ever increasing sequencing capacities enabled by current sequencing machines hold a lot of promise as for the future applications of these technologies, but also create increasing computational challenges related to the analysis and storage of these data. A typical sequencing data file may occupy tens or even hundreds of gigabytes of disk space, prohibitively large for many users. Raw sequencing data consists of both the DNA sequences (reads) and per-base quality values that indicate the level of confidence in the readout of these sequences. Quality values account for about half of the required disk space in the commonly used FASTQ format and therefore their compression can significantly reduce storage requirements and speed up analysis and transmission of these data. Results: In this paper we present a framework for the lossy compression of the quality value sequences of genomic read files. Numerical experiments with reference based alignment using these quality values suggest that we can achieve significant compression with little compromise in performance for several downstream applications of interest, as is consistent with our theoretical analysis. Our framework also allows compression in a regime - below one bit per quality value - for which there are no existing compressors.

연구 동기 및 목표

• 다음세대 시퀀싱(NGS) 데이터의 증가하는 저장 및 계산 부담을 해결하기 위해, 특히 FASTQ 파일 내 품질 값 시퀀스의 크기가 큰 데 초점을 맞춘다.
• 정보 손실가능성에도 불구하고 후속 응용 성능을 유지하는 품질 값에 대한 손실 압축 프레임워크를 개발한다.
• 기존 압축기에서 다루지 않은 바이트당 1비트 이하의 압축률을 달성한다.
• 왜곡이 품질 값에 미치는 영향이 정렬 및 변이 호출 성능에 거의 영향을 주지 않음을 이론적·실험적으로 검증한다.
• 손실 압축이 노이즈 제거 기능을 수행할 수 있는지, 즉 품질 점수에서 노이즈를 제거하여 후속 정확도를 향상시킬 수 있는지 탐색한다.

제안 방법

• 품질 값 시퀀스를 연속 확률 변수로 모델링하고, 신호의 가장 중요한 변동에 비트를 할당하기 위해 비율-왜곡 최적화를 적용한다.
• 압축 문제를 제약 최적화 문제(문제 8)로 공식화하여, 비트 레이트 제약 조건 하에 평균 제곱오차(MSE)를 최소화한다.
• 매우 낮은 레이트에서도 이론적 분석과 최적의 비트 할당이 가능한 연속 양자화 모델을 사용한다.
• 실제 NGS 데이터를 사용하여 Bowtie를 이용한 후속 정렬을 평가하고, 손실 없는 압축 및 바이닝 기반 양자화 방법과 성능을 비교한다.
• 평균 품질 값만 저장함으로써 0비트 레이트 작동을 지원하며, 대규모 데이터셋에서 읽기당 평균 비용이 점점 감소하는 방향으로 작용한다.
• 프레임워크는 http://www.stanford.edu/~mainakch/svdbit.tgz 에서 구현 및 공개되어 있다.

실험 결과

연구 질문

• RQ1 FASTQ 파일 내 품질 값의 손실 압축이 후속 정렬 정확도에 거의 영향을 주지 않으면서도 상당한 저장 공간 절감을 이룰 수 있는가?
• RQ2 품질 값당 1비트 이하의 압축률을 달성할 수 있으며, 이러한 압축이 생물학적 분석에 여전히 유용한가?
• RQ3 기존의 바이닝 기반 또는 히우리스틱 압축 기법에 비해 비율-왜곡 최적화된 양자화가 왜곡과 정렬 신뢰성 측면에서 뛰어난가?
• RQ4 품질 값의 손실 압축이 노이즈 제거 기능을 수행할 수 있으며, SNP 탐지나 시퀀스 어셈블리와 같은 후속 응용의 정확도를 향상시킬 수 있는가?
• RQ5 비트 할당량 증가에 따라 압축 기법의 성능은 어떻게 변화하는가? 노이즈 억제로 인해 비선형적 행동을 보일 가능성은 있는가?

주요 결과

• 낮은 비트 레이트에서, 특히 품질 값당 1비트 이하일 경우, 기존의 바이닝 기반 양자화기(예: 로그 바이닝)보다 제안된 방법이 훨씬 낮은 평균 제곱오차(MSE)를 달성한다.
• 품질 값당 0.5비트의 경우에도, 손실 없는 압축과 유사한 정렬 성능을 유지하며, 매핑 정확도가 5% 이내로 떨어지기만 한다.
• 6비트 품질 값당의 경우, 손실 없는 압축을 달성하여 높은 레이트에서 이론적 최적성을 확인한다.
• 모든 비트 레이트에서 압축된 품질 값과 원본 품질 값으로 정렬된 읽기 간의 대칭 차이가 낮게 유지되어, 정렬 신뢰성이 높음을 시사한다.
• 0비트 레이트 설정(평균 품질 값만 저장)조차도 의미 있는 정렬 성능을 유지하며, 품질 값을 완전히 버리는 것보다 우수한 성능을 보인다.
• 결과는 비트 할당량 제한이 품질 점수를 노이즈 제거할 수 있으며, 이는 후속 정확도 향상에 기여할 수 있음을 시사하지만, 이 행동이 비트 할당량 증가에 따라 항상 선형적으로 증가하지는 않을 수 있다.