[論文レビュー] SPIDER-WEB generates coding algorithms with superior error tolerance and real-time information retrieval capacity

Haoling Zhang, Zhaojun Lan+5 more|arXiv (Cornell University)|Apr 6, 2022

DNA and Biological Computing被引用数 5

ひとこと要約

SPIDER-WEB は、統合的な誤り訂正を備えたグラフベースのアーキテクチャであり、カスタマイズされたDNAコーディングアルゴリズムを自動生成することで、5.5%の冗長記号のみで最大4%の編集エラー（置換およびインデル）に耐えられ、リアルタイムでの情報検索が可能である。単一分子シーケンシングと比較して305.08倍の高速化を達成し、エクサバイトレベルのデータストレージへもスケーラブルに拡張可能である。

ABSTRACT

DNA has been considered a promising medium for storing digital information. As an essential step in the DNA-based data storage workflow, coding algorithms are responsible to implement functions including bit-to-base transcoding, error correction, etc. In previous studies, these functions are normally realized by introducing multiple algorithms. Here, we report a graph-based architecture, named SPIDER-WEB, providing an all-in-one coding solution by generating customized algorithms automatically. SPIDERWEB is able to correct a maximum of 4% edit errors in the DNA sequences including substitution and insertion/deletion (indel), with only 5.5% redundant symbols. Since no DNA sequence pretreatment is required for the correcting and decoding processes, SPIDER-WEB offers the function of real-time information retrieval, which is 305.08 times faster than the speed of single-molecule sequencing techniques. Our retrieval process can improve 2 orders of magnitude faster compared to the conventional one under megabyte-level data and can be scalable to fit exabyte-level data. Therefore, SPIDER-WEB holds the potential to improve the practicability in large-scale data storage applications.

研究の動機と目的

• 既存のDNAコーディングアルゴリズムが別個の誤り訂正および事前処理ステップを必要としているという制限を解決すること。
• ビットから塩基への変換と誤り訂正を統合した単一のフレームワーク内で自動化されたコーディングソリューションを構築すること。
• 大規模データストレージにおけるボトルネックを克服するため、DNA配列の事前処理なしにリアルタイムでの情報検索を可能にすること。
• 論理的冗長性を最小限に抑えながら、最大4%のエラー耐性（置換およびインデルを含む）を達成すること。
• データサイズに依存しない性能向上を実現し、エクサバイトレベルのデータ処理にまでスケーラブルな検索プロセスを実現すること。

提案手法

• SPIDER-WEB は、GC含量や繰り返し制限などの制約をノードおよびエッジの制限としてエンコードしたカスタマイズされた有向グラフを構築する。
• コーディングアルゴリズムは、グラフ内の有効な状態遷移経路を走査することで生成され、エンコードおよびデコードは頂点遷移によって実行される。
• 誤り訂正は、エラー状態下でも有効なDNA配列を特定する経路チェックメカニズムにより達成され、全探索を回避する。
• 局所的逆走査と経路検証の組み合わせにより、計算複雑性を低減し、効率を向上させる。
• シーケンスアラインメントや事前処理なしに、エンコード済みデータを直接グラフ状態にマッピングすることで、リアルタイム検索を実現する。
• アーキテクチャはスケーラブルであり、データサイズに依存せずエクサバイトレベルのデータ処理が可能である。

実験結果

リサーチクエスチョン

• RQ1 DNAベースのデータストレージにおいて、ビットから塩基への変換と誤り訂正を統合した包括的なフレームワークを設計可能か？
• RQ2 置換およびインデルエラーの両方をサポートしつつ、論理的冗長性を最小限に抑えた誤り訂正はどのように達成できるか？
• RQ3 事前のDNA配列の事前処理やアラインメントなしに、リアルタイムでの情報検索を達成可能か？
• RQ4 実用的な冗長性制約下で、グラフベースのアプローチが達成可能な最大エラー耐性は何か？
• RQ5 特に大規模処理において、SPIDER-WEBの検索速度は従来手法と比較してどの程度優れているか？

主な発見

• SPIDER-WEB は、わずか5.5%の冗長記号で最大4%の編集エラー（置換およびインデルを含む）を訂正でき、従来手法と比較して著しく冗長性を低減した。
• システムはリアルタイムでの情報検索を可能にし、単一分子シーケンシング手法と比較して305.08倍の高速化を達成した。
• メガバイトスケールでは、従来手法と比較して100倍速く、エクサバイトレベルのデータ処理にもスケーリング可能である。
• 5%のエラー率では検出率が90%を超えるが、エラー率が5.0%を超えると解空間の爆発により訂正に失敗する。
• SPIDER-WEB における局所的探索は4%のエラー率で約405の頂点アクセスで済むが、グローバル探索では300,000以上必要となるため、経路チェック戦略の効率性が明確に示された。
• ランダムな有向グラフを用いた容量の近似は中央値誤差が2.97×10⁻¹¹であり、モデル化の高精度性が裏付けられた。