[论文解读] Lossy Compression of Quality Values via Rate Distortion Theory

Himanshu Asnani, Dinesh Bharadia+4 more|arXiv (Cornell University)|Jul 21, 2012

Algorithms and Data Compression参考文献 25被引用 5

一句话总结

本文提出了一种针对FASTQ基因组测序文件中质量值的率失真优化压缩框架，采用连续域量化模型，实现每质量值低于1比特的压缩。该方法在对下游比对准确率影响极小的情况下实现高效压缩，证明了有损压缩可在显著降低存储与传输成本的同时保持生物学实用性。

ABSTRACT

Motivation: Next Generation Sequencing technologies revolutionized many fields in biology by enabling the fast and cheap sequencing of large amounts of genomic data. The ever increasing sequencing capacities enabled by current sequencing machines hold a lot of promise as for the future applications of these technologies, but also create increasing computational challenges related to the analysis and storage of these data. A typical sequencing data file may occupy tens or even hundreds of gigabytes of disk space, prohibitively large for many users. Raw sequencing data consists of both the DNA sequences (reads) and per-base quality values that indicate the level of confidence in the readout of these sequences. Quality values account for about half of the required disk space in the commonly used FASTQ format and therefore their compression can significantly reduce storage requirements and speed up analysis and transmission of these data. Results: In this paper we present a framework for the lossy compression of the quality value sequences of genomic read files. Numerical experiments with reference based alignment using these quality values suggest that we can achieve significant compression with little compromise in performance for several downstream applications of interest, as is consistent with our theoretical analysis. Our framework also allows compression in a regime - below one bit per quality value - for which there are no existing compressors.

研究动机与目标

• 为应对下一代测序（NGS）数据日益增长的存储与计算负担，特别是FASTQ文件中质量值序列的巨大体积。
• 开发一种有损压缩框架，用于质量值，即使存在信息丢失也能保持下游应用的性能。
• 实现每质量值低于1比特的压缩率，这一领域此前未被现有压缩器覆盖。
• 从理论和实证上验证质量值中的失真与序列比对和变异检测性能下降之间的关联极小。
• 探究有损压缩是否可作为一种去噪手段，通过去除质量分数中的噪声，潜在提升下游分析的准确性。

提出的方法

• 该方法将质量值序列建模为连续型随机变量，并应用率失真优化，将比特分配给信号中最显著的变化。
• 将压缩问题表述为约束优化问题（问题8），在比特率约束下最小化均方误差（MSE）。
• 该框架采用连续量化模型，即使在极低比特率下也能实现理论分析与最优比特分配。
• 通过真实NGS数据和使用Bowtie的下游比对对方法进行评估，与无损压缩及基于分箱的量化方法进行对比。
• 该方法支持零比特率运行，仅存储平均质量值，从而在大规模数据集中实现每条读取的渐近零均摊比特成本。
• 该框架已实现并可在 http://www.stanford.edu/~mainakch/svdbit.tgz 获取。

实验结果

研究问题

• RQ1 是否能够通过有损压缩FASTQ文件中的质量值，在对下游比对准确率影响可忽略的情况下实现显著的存储缩减？
• RQ2 是否可能在每质量值低于1比特的压缩率下实现有效压缩，且此类压缩对生物分析仍具实用性？
• RQ3 与现有基于分箱或启发式压缩方案相比，所提出的率失真优化量化方法在失真与比对保真度方面是否表现更优？
• RQ4 有损压缩质量值是否可作为一种去噪手段，潜在提升SNP检测或序列拼接等下游应用的准确性？
• RQ5 随着比特分配的增加，该压缩方案的性能如何变化？其改进是否呈现单调性，或因噪声抑制而出现非单调行为？

主要发现

• 在低比特率下，尤其低于每质量值1比特时，该方法的均方误差（MSE）显著低于现有基于分箱的量化器（如对数分箱）。
• 即使在仅0.5比特每质量值的条件下，该方法仍能保持与无损压缩相当的比对性能，映射准确率下降不足5%。
• 在每质量值6比特时，该方法实现无损压缩，证实其在高比特率下的理论最优性。
• 在所有比特率下，使用压缩质量值与原始质量值进行比对的比对读取之间的对称差值均保持较低水平，表明比对保真度稳定可靠。
• 零比特率配置——仅存储平均质量值——仍能实现有意义的比对性能，优于完全丢弃质量值的情况。
• 结果表明，限制比特率可能对质量分数实现去噪，潜在提升下游准确性，尽管该行为在比特率增加时可能并非单调。