[論文レビュー] Single-Read Reconstruction for DNA Data Storage Using Transformers

Yotam Nahum, Eyar Ben-Tolila+1 more|arXiv (Cornell University)|Sep 12, 2021

DNA and Biological Computing参考文献 32被引用数 4

ひとこと要約

本論文は、合成ノイズ注入を用いてエラーのないリードを生成することで、データファイルの内在構造を自己教師付きエンコーダデコーダTransformerアーキテクチャが学習する、DNAデータストレージのための新規ワンリード再構成手法を提案する。モデルは1回のリードあたりのみで、最先端のマルチリード手法を上回る低い誤り率を達成しており、包括的かつ文脈に配慮した再構成を実現する。これは、深層学習をワンリードDNA再構成に成功して初めて適用したものである。

ABSTRACT

As the global need for large-scale data storage is rising exponentially, existing storage technologies are approaching their theoretical and functional limits in terms of density and energy consumption, making DNA based storage a potential solution for the future of data storage. Several studies introduced DNA based storage systems with high information density (petabytes/gram). However, DNA synthesis and sequencing technologies yield erroneous outputs. Algorithmic approaches for correcting these errors depend on reading multiple copies of each sequence and result in excessive reading costs. The unprecedented success of Transformers as a deep learning architecture for language modeling has led to its repurposing for solving a variety of tasks across various domains. In this work, we propose a novel approach for single-read reconstruction using an encoder-decoder Transformer architecture for DNA based data storage. We address the error correction process as a self-supervised sequence-to-sequence task and use synthetic noise injection to train the model using only the decoded reads. Our approach exploits the inherent redundancy of each decoded file to learn its underlying structure. To demonstrate our proposed approach, we encode text, image and code-script files to DNA, produce errors with high-fidelity error simulator, and reconstruct the original files from the noisy reads. Our model achieves lower error rates when reconstructing the original data from a single read of each DNA strand compared to state-of-the-art algorithms using 2-3 copies. This is the first demonstration of using deep learning models for single-read reconstruction in DNA based storage which allows for the reduction of the overall cost of the process. We show that this approach is applicable for various domains and can be generalized to new domains as well.

研究の動機と目的

• DNAデータストレージにおけるマルチリード再構成の高コストと非効率性を是正すること。ここでは、エラーを是正するために複数のコピーが必要となる。
• 1つのノイズ混じりリードからも、元のDNAに保存されたデータを信頼性高く再構成できることを可能にし、シーケンシングのオーバーヘッドとコストを削減すること。
• エラーパターンの学習に依存せず、デコード済みファイルの構造的再冗長性を活用する文脈に配慮した包括的再構成モデルの開発。
• テキスト、画像、コードを含む多様なデータタイプにわたる一般化可能性の実証。
• ラベル付きデータが乏しいか、外部の誤りモデルに依存しない自己教師学習の訓練パラダイムの確立。

提案手法

• 本手法は、エラーのないリードと仮定されたものに合成ノイズを注入することで自己教師学習的に訓練されるエンコーダデコーダTransformerアーキテクチャを採用する。
• ノイズは、シーケンシングチャネルの予想される誤り率に一致するレベルでデコード済みリードに注入され、訓練中に実際のノイズデータを必要とせずに、現実の誤りを模擬する。
• モデルは、1つのノイズ混じりリードから元のファイル構造を予測するという、シーケンス・トゥ・シーケンスのタスクとしてリード再構成を扱う。
• エラーのないリードは、誤りモデル（例：DISチャネル）とファイルの構造的制約（例：有効なコードワードやシーケンス長）の知識を用いて生成される。
• 訓練データは、ノイズ混じりリードとそれに対応するエラーのないバージョンのペアから構成され、モデルが内在するデータ構造を学習できるようにする。
• 訓練中に各ファイルタイプ固有の冗長性と構造を活用することで、本手法は多様なデータタイプに一般化される。

実験結果

リサーチクエスチョン

• RQ1 深層学習モデルは、1つのノイズ混じりリードから、マルチリード再構成手法を上回る性能で元のDNAに保存されたデータを再構成できるか？
• RQ2 合成ノイズ注入を用いた自己教師学習は、ラベル付き誤りデータに依存せずに、効果的な再構成を可能にするか？
• RQ3 ファイル全体の包括的構造をモデル化することで、個々のシーケンスレベルでの誤り補正に比べ、再構成精度が向上するか？
• RQ4 テキスト、画像、コードのような多様なデータタイプにおいて、モデルの性能はどの程度か？
• RQ5 訓練時に使用したノイズレベルよりも高いノイズレベルに対しても、モデルは一般化可能か？

主な発見

• 提案されたTransformerベースのモデルは、2～3回のリードを用いる最先端のアルゴリズムよりも、1回のリードからの元データ再構成において低い誤り率を達成した。
• モデルは、合成ノイズ注入による自己教師学習のみを用いて、テキスト、画像、コードファイルを1回のリードからも成功裏に再構成した。
• 訓練時に使用したノイズレベルよりも高いノイズレベルに対しても、モデルは良好に一般化し、分布シフトに対して頑健であることが示された。
• 本手法は、DNAデータストレージにおけるワンリード再構成に、効果的に成功した最初のものであり、シーケンシングカバレッジの低減と総合的コストの削減を可能にした。
• モデルの性能は、有効なコードワード集合が小さいテキストやコードファイルで優れているが、コードワード集合が大きい画像ファイルでは、正しくないリードと区別しにくくなるため性能が低下した。
• 包括的かつ文脈に配慮した設計により、個別シーケンスレベルの手法よりも優れた再構成性能を発揮し、特にカバレッジが低い状況で顕著であった。