[論文レビュー] Kmerlight: fast and accurate k-mer abundance estimation

Naveen Sivadasan, Rajgopal Srinivasan+1 more|arXiv (Cornell University)|Sep 19, 2016

Spectroscopy Techniques in Biomedical and Chemical Research参考文献 12被引用数 11

ひとこと要約

Kmerlight は、k-mer の頻度ヒストグラムを、部分線形なメモリと証明可能な誤差境界を用いて、高速かつ正確かつメモリ効率的に推定するストリーミングアルゴリズムである。これは、分散カウント推定のストリーミング技術を拡張し、異なるk-merの数（F₀）とk-merの頻度分布（fᵢ）をmultiplicityごとに計算する。標準的なデスクトップハードウェアで500 MB未満のRAMを用いて、2%未満の相対誤差を達成する。

ABSTRACT

k-mers (nucleotide strings of length k) form the basis of several algorithms in computational genomics. In particular, k-mer abundance information in sequence data is useful in read error correction, parameter estimation for genome assembly, digital normalization etc. We give a streaming algorithm Kmerlight for computing the k-mer abundance histogram from sequence data. Our algorithm is fast and uses very small memory footprint. We provide analytical bounds on the error guarantees of our algorithm. Kmerlight can efficiently process genome scale and metagenome scale data using standard desktop machines. Few applications of abundance histograms computed by Kmerlight are also shown. We use abundance histogram for de novo estimation of repetitiveness in the genome based on a simple probabilistic model that we propose. We also show estimation of k-mer error rate in the sampling using abundance histogram. Our algorithm can also be used for abundance estimation in a general streaming setting. The Kmerlight tool is written in C++ and is available for download and use from https://github.com/nsivad/kmerlight.

研究の動機と目的

• 証明可能な誤差保証を伴う、効率的なk-mer頻度ヒストグラム推定を実現するストリーミングアルゴリズムの不足を解消すること。
• 全ゲノムやメタゲノムを含む大規模ゲノムデータにおけるk-merカウントのメモリ使用量と計算時間を低減すること。
• リファレンスゲノムの事前知識なしに、リードデータからゲノムサイズ、k-mer誤り率、配列の反復性といった重要なゲノムパラメータを推定できること。

提案手法

• Kmerlight は、Count-Minスケッチおよび分散カウントストリーミングアルゴリズムにインspiredされた、各レベルに r 個のカウンタを持つ多段階スケッチデータ構造を用いる。
• 分散を低減するために、複数の独立した推定値の中央値を用いた平均の中央値アプローチにより、F₀（異なるk-merの数）を推定する。
• 各k-mer頻度 fᵢ に対して、ハッシュ衝突とサンプリング効果を考慮した確率的モデルを用いて、バイアス付き推定値 f̂ᵢ を計算する。
• すべての fᵢ に対して、fᵢ ≥ F₀/λ の場合に高確率で正確な境界を保証するために、中央値ベースの確率増幅技術を適用する。
• r = O(1/ε²) および適切なパrameter設定のもとで、f̂ᵢ ∈ [(1−ε)fᵢ, (1+ε)fᵢ] が高確率で成り立つという解析的誤差境界を提供する。
• 対数的空間計算量とk-mer1つあたり線形な更新時間を持つ、マルチスレッド対応のインメモリ処理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ストリーミングアルゴリズムは、証明可能な誤差境界と部分線形なメモリ使用量を備えて、k-mer頻度ヒストグラム（F₀およびすべてのiについてのfᵢ）を完全に推定できるか？
• RQ2 標準的なデスクトップシステム上で、ゲノム規模およびメタゲノム規模のデータセットに対して、k-mer頻度推定を高速かつ正確に行うにはどうすればよいか？
• RQ3 リファレンスゲノムの事前知識なしに、k-mer頻度ヒストグラムを用いてゲノムスケールの反復性とk-mer誤り率を推定できるか？
• RQ4 限られたメモリを備えたストリーミング環境において、fᵢ（頻度iを持つk-merの数）を推定する理論的誤差境界は何か？
• RQ5 k-merサイズ、データセットサイズ、メモリ制約の変化に伴って、アルゴリズムの性能はどのようにスケーリングするか？

主な発見

• Kmerlight は、標準的なデスクトップハードウェアで500 MB未満のRAMを用いて、k-mer頻度推定において2%未満の相対誤差を達成し、高い正確性を示した。
• O(λ/ε² log(λ/δ) log F₀) のメモリを用いて、すべての fᵢ ≥ F₀/λ に対して (1±ε) の正確性を高確率（1−δ）で達成するF₀およびfᵢの推定値を計算できる。
• 外部ストレージを必要とせず、効率的なマルチスレッド処理をサポートし、ゲノムスケールおよびメタゲノムスケールのデータセットにスケーリング可能である。
• k-mer頻度ヒストグラムに単純な確率的モデルをフィッティングすることで、de novo でのゲノムの反復性推定が可能である。
• F₀およびfᵢの両方について解析的誤差境界を提供するため、Kmerlight は、完全な頻度ヒストグラム推定においてこのような保証を提供する最初のストリーミングアルゴリズムである。
• このツールはGitHubでC++実装として公開されており、リード誤り補正、デジタル正規化、ゲノムアセンブリにおけるパrameterチューニングなどの応用に適している。