[论文解读] Kmerlight: fast and accurate k-mer abundance estimation

Naveen Sivadasan, Rajgopal Srinivasan+1 more|arXiv (Cornell University)|Sep 19, 2016

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 12被引用 11

一句话总结

Kmerlight 是一种流式算法，可在亚线性空间内以可证明的误差界，实现对基因组数据中 k-mer 丰度直方图的快速、精确且内存高效的估计。它将用于不同计数估计的流式技术扩展至同时计算不同 k-mer 的数量（F₀）及其按多重性分布的频率（fᵢ），在标准台式机硬件上使用少于 500 MB 内存时，相对误差低于 2%。

ABSTRACT

k-mers (nucleotide strings of length k) form the basis of several algorithms in computational genomics. In particular, k-mer abundance information in sequence data is useful in read error correction, parameter estimation for genome assembly, digital normalization etc. We give a streaming algorithm Kmerlight for computing the k-mer abundance histogram from sequence data. Our algorithm is fast and uses very small memory footprint. We provide analytical bounds on the error guarantees of our algorithm. Kmerlight can efficiently process genome scale and metagenome scale data using standard desktop machines. Few applications of abundance histograms computed by Kmerlight are also shown. We use abundance histogram for de novo estimation of repetitiveness in the genome based on a simple probabilistic model that we propose. We also show estimation of k-mer error rate in the sampling using abundance histogram. Our algorithm can also be used for abundance estimation in a general streaming setting. The Kmerlight tool is written in C++ and is available for download and use from https://github.com/nsivad/kmerlight.

研究动机与目标

• 解决缺乏可高效估计 k-mer 丰度直方图且具备可证明误差保证的流式算法的问题。
• 降低大规模基因组数据（如全基因组和宏基因组）中 k-mer 计数的内存使用量和计算时间。
• 实现对基因组关键参数（如基因组大小、k-mer 错误率和序列重复性）的准确估计，且无需参考基因组信息。

提出的方法

• Kmerlight 使用多级草图数据结构，每级包含 r 个计数器，灵感来源于 Count-Min 草图和不同计数流式算法。
• 通过在多个独立估计上取中位数的方法来估计 F₀（不同 k-mer 的数量），以降低方差。
• 对于每个 k-mer 频率 fᵢ，使用考虑哈希冲突和采样效应的概率模型计算有偏估计 f̂ᵢ。
• 该算法应用基于中位数的概率增强技术，确保在 fᵢ ≥ F₀/λ 时，对所有 fᵢ 均具有高概率的准确度界。
• 它提供了分析性误差界，表明在 r = O(1/ε²) 且参数设置适当时，f̂ᵢ ∈ [(1−ε)fᵢ, (1+ε)fᵢ] 的概率很高。
• 该方法支持多线程、内存内处理，具有对数空间复杂度和每个 k-mer 的线性更新时间。

实验结果

研究问题

• RQ1 能否设计一种流式算法，在具备可证明误差界和亚线性内存使用的情况下，估计完整的 k-mer 丰度直方图（包括 F₀ 和所有 i 的 fᵢ）？
• RQ2 如何使 k-mer 丰度估计在标准台式机系统上，对基因组尺度和宏基因组尺度数据集既快速又准确？
• RQ3 是否可以仅基于读取数据，无需参考基因组信息，利用 k-mer 丰度直方图推断全基因组重复性与 k-mer 错误率？
• RQ4 在内存受限的流式环境中，对 fᵢ（频率为 i 的 k-mer 数量）进行估计的理论误差界是什么？
• RQ5 该算法的性能如何随 k-mer 尺寸、数据集大小和内存限制的变化而变化？

主要发现

• Kmerlight 在标准台式机硬件上使用少于 500 MB 内存时，k-mer 丰度估计的相对误差低于 2%，表现出高精度。
• 该算法以高概率（1−δ）实现所有 fᵢ ≥ F₀/λ 的 (1±ε) 准确度，内存使用量为 O(λ/ε² log(λ/δ) log F₀)。
• 它支持高效的多线程处理，且无需外部存储即可扩展至基因组尺度和宏基因组尺度数据集。
• 该方法可通过简单概率模型拟合 k-mer 丰度直方图，实现对基因组重复性的从头估计。
• Kmerlight 为 F₀ 和 fᵢ 提供了分析性误差界，是首个为完整丰度直方图估计提供此类保证的流式算法。
• 该工具以 C++ 实现形式发布于 GitHub，适用于读取错误校正、数字归一化以及基因组组装中的参数调优等应用。