[논문 리뷰] Single-Read Reconstruction for DNA Data Storage Using Transformers

Yotam Nahum, Eyar Ben-Tolila외 1명|arXiv (Cornell University)|2021. 09. 12.

DNA and Biological Computing참고 문헌 32인용 수 4

한 줄 요약

이 논문은 합성 노이즈 주입을 통해 오류가 없는 독취를 생성함으로써 데이터 파일의 기본 구조를 오류 없는 독취에서 학습하는 자기지도 학습 인코더-디코더 트랜스포머 아키텍처를 사용하여 DNA 데이터 저장을 위한 새로운 단일 독취 복원 방법을 제안한다. 이 모델은 단일 시퀀스당 하나의 독취만을 사용하여 최신의 다중 독취 방법보다 낮은 오류율을 달성하며, 전체적인 맥락을 고려한 복원 방식으로 딥러닝을 단일 독취 DNA 복원에 성공적으로 적용한 최초의 사례이다.

ABSTRACT

As the global need for large-scale data storage is rising exponentially, existing storage technologies are approaching their theoretical and functional limits in terms of density and energy consumption, making DNA based storage a potential solution for the future of data storage. Several studies introduced DNA based storage systems with high information density (petabytes/gram). However, DNA synthesis and sequencing technologies yield erroneous outputs. Algorithmic approaches for correcting these errors depend on reading multiple copies of each sequence and result in excessive reading costs. The unprecedented success of Transformers as a deep learning architecture for language modeling has led to its repurposing for solving a variety of tasks across various domains. In this work, we propose a novel approach for single-read reconstruction using an encoder-decoder Transformer architecture for DNA based data storage. We address the error correction process as a self-supervised sequence-to-sequence task and use synthetic noise injection to train the model using only the decoded reads. Our approach exploits the inherent redundancy of each decoded file to learn its underlying structure. To demonstrate our proposed approach, we encode text, image and code-script files to DNA, produce errors with high-fidelity error simulator, and reconstruct the original files from the noisy reads. Our model achieves lower error rates when reconstructing the original data from a single read of each DNA strand compared to state-of-the-art algorithms using 2-3 copies. This is the first demonstration of using deep learning models for single-read reconstruction in DNA based storage which allows for the reduction of the overall cost of the process. We show that this approach is applicable for various domains and can be generalized to new domains as well.

연구 동기 및 목표

• 다중 독취 복원의 높은 비용과 비효율성 문제를 해결하기 위해, 오류를 교정하기 위해 여러 복사본이 필요로 하는 DNA 데이터 저장에서의 문제를 해결한다.
• 단일 노이즈가 있는 독취로부터 원본 DNA에 저장된 데이터를 신뢰성 있게 복원함으로써 시퀀싱 오버헤드와 비용을 감소시킨다.
• 오류 패tern 학습에 의존하는 것이 아니라 파일의 구조적 부족을 활용하는 맥락 인식형, 통합적인 복원 모델을 개발한다.
• 텍스트, 이미지, 코드를 포함한 다양한 데이터 유형에 대해 이 접근법의 일반화 능력을 입증한다.
• 희귀한 레이블이 부여된 데이터셋이나 외부 오류 모델에 의존하지 않는 자기지도 학습 훈련 프레임워크를 수립한다.

제안 방법

• 이 방법은 오류가 없는 독취로 간주되는 읽기 데이터에 합성 노이즈 주입을 사용하여 자기지도 학습 방식으로 훈련된 인코더-디코더 트랜스포머 아키텍처를 사용한다.
• 읽기 데이터에 시퀀싱 채널의 예상 오류율과 동일한 수준의 노이즈를 주입하여 실제 노이즈 데이터가 훈련 중에 필요 없이 실제 세계의 오류를 시뮬레이션한다.
• 모델은 시퀀스 복원을 시퀀스-투-시퀀스 작업으로 간주하여 단일 노이즈가 있는 독취에서 원본 파일 구조를 예측하도록 학습한다.
• 오류 모델(예: DIS 채널)과 파일의 구조적 제약 조건(예: 유효한 코드워드 및 시퀀스 길이)에 대한 지식을 사용하여 오류가 없는 독취를 생성한다.
• 훈련 데이터는 노이즈가 있는 독취와 그에 해당하는 오류가 없는 버전의 쌍으로 구성되며, 이는 모델이 원본 데이터 구조를 학습할 수 있도록 한다.
• 각 파일 유형의 내재된 부족성과 구조를 훈련 중에 활용하여 이 접근법을 다양한 데이터 유형으로 일반화한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 다중 독취 복원 방법보다 우수한 성능을 내며 단일 노이즈가 있는 독취에서 원본 DNA에 저장된 데이터를 복원할 수 있는가?
• RQ2 합성 노이즈 주입을 통한 자기지도 학습이 레이블이 부여된 오류 데이터 없이 효과적인 복원을 가능하게 하는가?
• RQ3 전체 파일의 통합적인 구조를 모델링하는 것이 개별 시퀀스 수준의 오류 교정보다 복원 정확도를 향상시키는가?
• RQ4 텍스트, 이미지, 코드와 같은 다양한 데이터 유형에서 모델의 성능은 어떠한가?
• RQ5 훈련 시 사용된 노이즈 수준을 초월한 높은 노이즈 수준에서도 모델이 일반화 가능한가?

주요 결과

• 제안된 트랜스포머 기반 모델은 두 개에서 세 개의 독취를 사용하는 최신 알고리즘보다 단일 독취에서 원본 데이터를 복원할 때 더 낮은 오류율을 달성한다.
• 모델은 합성 노이즈 주입을 통한 자기지도 학습만으로도 단일 독취에서 텍스트, 이미지, 코드 파일을 성공적으로 복원한다.
• 훈련 시 사용된 노이즈 수준을 초월한 높은 노이즈 수준에서도 잘 일반화되어 분포 이탈에 대한 강건성을 보여준다.
• 이 접근법은 DNA 데이터 저장에서 효과적인 단일 독취 복원을 달성한 최초의 사례로, 시퀀싱 커버리지 감소와 전체 비용 절감을 가능하게 한다.
• 모델의 성능은 유효한 코드워드 집합이 작은 텍스트 및 코드 파일에서 뛰어나지만, 코드워드 집합이 큰 이미지 파일에서는 정확도가 떨어지며, 이는 올바른 독취와 잘못된 독취를 구분하기 어려워지기 때문이다.
• 통합적이고 맥락 인식형 설계 덕분에 독립적인 시퀀스 수준의 방법보다 더 나은 복원 성능을 보이며, 특히 저커버리지 상황에서 두각을 나타낸다.