[论文解读] FASTR: Reimagining FASTQ via Compact Image-inspired Representation

Adrian Tkachenko, Sepehr Salem+8 more|arXiv (Cornell University)|Jan 23, 2026

Genomics and Phylogenetic Studies被引用 0

一句话总结

FASTR 引入了一种无损的 8 位编码，将核苷酸和碱基质量合并为一个字节，从而实现更快的 I/O、更小的存储，并能在无需解压的情况下与现有工具无缝集成。它在多个平台上优于 FASTQ 及相关格式，同时保持数据完整性并支持适用于机器学习的表示。

ABSTRACT

Motivation: High-throughput sequencing (HTS) enables population-scale genomics but generates massive datasets, creating bottlenecks in storage, transfer, and analysis. FASTQ, the standard format for over two decades, stores one byte per base and one byte per quality score, leading to inefficient I/O, high storage costs, and redundancy. Existing compression tools can mitigate some issues, but often introduce costly decompression or complex dependency issues. Results: We introduce FASTR, a lossless, computation-native successor to FASTQ that encodes each nucleotide together with its base quality score into a single 8-bit value. FASTR reduces file size by at least 2x while remaining fully reversible and directly usable for downstream analyses. Applying general-purpose compression tools on FASTR consistently yields higher compression ratios, 2.47, 3.64, and 4.8x faster compression, and 2.34, 1.96, 1.75x faster decompression than on FASTQ across Illumina, HiFi, and ONT reads. FASTR is machine-learning-ready, allowing reads to be consumed directly as numerical vectors or image-like representations. We provide a highly parallel software ecosystem for FASTQ-FASTR conversion and show that FASTR integrates with existing tools, such as minimap2, with minimal interface changes and no performance overhead. By eliminating decompression costs and reducing data movement, FASTR lays the foundation for scalable genomics analyses and real-time sequencing workflows. Availability and Implementation: https://github.com/ALSER-Lab/FASTR

研究动机与目标

• 阐明需要一种比 FASTQ 更节省存储与 I/O 的测序数据格式。
• 提出 FASTR 作为一个无损、计算原生的 FASTQ 继任者。
• 展示 FASTR 及其头信息编码和 8 位碱基质量打包如何降低尺寸并加速压缩/解压。
• 展示与现有工具和工作流的兼容性与低开销。
• 提供一个可扩展、面向机器学习的 FASTQ–FASTR 转换及下游分析支持生态系统。

提出的方法

• 通过隐式分区范围编码，将每个核苷酸及其碱基质量编码为一个 8 位值。
• 用全局文件头表示读取元数据，消除逐个读取头信息中的冗余。
• 提供四种 FASTQ-to-FASTR 转换模式，在头信息与数据保留方面提供不同权衡。
• 使用哨兵值（255）作为读取分隔符，以实现无损、可流式解码。
• 将来自不同 Phred 方案的碱基质量分数规范化并缩放到用于编码的统一数值范围。
• 以最小的接口变更和无性能开销将 FASTR 与下游工具（如 minimap2）集成。

Figure 1: Overview of FASTR processing modes compared to a FASTQ record

实验结果

研究问题

• RQ1 无损、紧凑的 8 位碱基和质量编码是否能在不降低可逆性的前提下实现显著的文件大小缩减？
• RQ2 与 FASTQ 及其他格式相比，是否在多种测序技术上使 FASTR 在生成、压缩和解压方面更快？
• RQ3 FASTR 是否能在极少的代码变更下与现有生物信息学工具兼容？
• RQ4 头信息优化如何影响数据冗余和解析效率？
• RQ5 FASTR 是否通过直接从读取中提供数值表示来支持机器学习工作流？

主要发现

• FASTR 在保持无损且可直接用于下游分析的前提下，文件尺寸相较 FASTQ 至少减少约 2 倍。
• 通用压缩器在 FASTR 上获得比 FASTQ 更高的压缩比和更快的压缩/解压速度（例如，在 Illumina、HiFi、ONT 上，压缩速度提升约 2.47×–4.8×；解压速度提升约 2.34×–1.75×）。
• 与 SAM/BAM/CRAM 相比，FASTR 生成更快、体积更小、无需参考、并能高效转换回 FASTQ，且头信息优化的开销极小。
• FASTR 实现与 minimap2 的即插即用兼容，几乎没有性能开销，同时降低 I/O 和输出大小。
• 隐式分区范围编码将碱基和质量打包成单个 8 位值，保留 255 作为分隔符，以实现可靠、可并行解码。
• 四种 FASTQ-to-FASTR 模式为不同工作流在头信息紧凑性与数据可用性之间提供灵活权衡。