[論文レビュー] FASTR: Reimagining FASTQ via Compact Image-inspired Representation

Adrian Tkachenko, Sepehr Salem+8 more|arXiv (Cornell University)|Jan 23, 2026

Genomics and Phylogenetic Studies被引用数 0

ひとこと要約

FASTRは損失ゼロの8ビットエンコードを導入し、ヌクレオチドと塩基品質を1つのバイトに統合、I/Oを高速化、ストレージを削減し、解凍なしで既存ツールとの統合を可能にします。複数のプラットフォームでFASTQや関連フォーマットを上回り、データの完全性を保持し、ML対応表現を可能にします。

ABSTRACT

Motivation: High-throughput sequencing (HTS) enables population-scale genomics but generates massive datasets, creating bottlenecks in storage, transfer, and analysis. FASTQ, the standard format for over two decades, stores one byte per base and one byte per quality score, leading to inefficient I/O, high storage costs, and redundancy. Existing compression tools can mitigate some issues, but often introduce costly decompression or complex dependency issues. Results: We introduce FASTR, a lossless, computation-native successor to FASTQ that encodes each nucleotide together with its base quality score into a single 8-bit value. FASTR reduces file size by at least 2x while remaining fully reversible and directly usable for downstream analyses. Applying general-purpose compression tools on FASTR consistently yields higher compression ratios, 2.47, 3.64, and 4.8x faster compression, and 2.34, 1.96, 1.75x faster decompression than on FASTQ across Illumina, HiFi, and ONT reads. FASTR is machine-learning-ready, allowing reads to be consumed directly as numerical vectors or image-like representations. We provide a highly parallel software ecosystem for FASTQ-FASTR conversion and show that FASTR integrates with existing tools, such as minimap2, with minimal interface changes and no performance overhead. By eliminating decompression costs and reducing data movement, FASTR lays the foundation for scalable genomics analyses and real-time sequencing workflows. Availability and Implementation: https://github.com/ALSER-Lab/FASTR

研究の動機と目的

• FASTQを超えるストレージおよびI/O効率の高いシーケンシングデータ形式の必要性を動機づける。
• FAST​RをFASTQの損失ゼロの計算ネイティブ後継として提案する。
• FAST​Rのヘッダーエンコーディングと8ビット基地-品質パッキングがサイズを削減し、圧縮/解凍を高速化することを示す。
• 既存ツールとワークフローとの互換性と低オーバーヘッドを示す。
• FASTQ–FASTR変換および下流解析サポートのための拡張可能で機械学習対応のエコシステムを提供する。

提案手法

• 各ヌクレオチドを、その塩基品質と共に1つの8ビット値へエンコードする、暗黙の分割レンジエンコーディングによる方法。
• per-readヘッダの冗長性を排除するグローバルファイルヘッダでリードメタデータを表現する。
• ヘッダとデータの保持トレードオフを異にする4つのFASTQ-to-FASTR変換モードを提供。
• セット値（255）をリード区切り文字として用い、ロスレスかつストリーム可能なデコードを可能にする。
• さまざまなPhredスキームからの基地品質スコアを、エンコーディング用の共通数値レンジへ正規化・スケーリングする。
• FASTRを下流ツール（例: minimap2）と最小のインターフェース変更で統合し、パフォーマンスオーバーヘッドを発生させない。

Figure 1: Overview of FASTR processing modes compared to a FASTQ record

実験結果

リサーチクエスチョン

• RQ1 損失ゼロでコンパクトな8ビットエンコーディングの基地と品質は、可逆性を損なうことなくファイルサイズを実質的に削減できるか。
• RQ2 FASTRはFASTQや他フォーマットと比較して、複数のシーケンシング技術での生成・圧縮・解凍をより速く可能にするか。
• RQ3 既存のバイオ情報学ツールと最小のコード変更で互換性があるか。
• RQ4 ヘッダ最適化はデータ冗長性と解析効率にどのように影響するか。
• RQ5 FASTRはリードから直接数値表現を提供することで機械学習ワークフローをサポートできるか。

主な発見

• FASTRはFASTQに対して少なくとも約2×のファイルサイズ削減を達成し、ロスレスのままダウンストリーム解析に直接使用可能。
• FAST​R上の汎用圧縮器はFASTQよりも高い圧縮率と高速な圧縮/解凍を実現（例: Illumina, HiFi, ONTのケースで2.47×–4.8×高速な圧縮; 2.34×–1.75×高速な解凍）。
• SAM/BAM/CRAMと比較して、FASTRは生成が速く、小さく、参照不要で、FASTQへの変換も効率的でヘッダ最適化のオーバーヘッドが最小限。
• FASTRはminimap2へのドロップイン互換性を性能オーバーヘッドをほとんど生じさせずに実現し、I/Oと出力サイズを削減。
• 暗黙の分割レンジエンコーディングは基地と品質を1つの8ビット値に詰め、デコードを信頼性のある並列処理のための255を区切り文字として予約。
• 4つのFASTQ-to-FASTRモードは、異なるワークフローに合わせたヘッダコンパクトさとデータ利用可能性の柔軟なトレードオフを提供。