[论文解读] DNACloud: A Potential Tool for storing Big Data on DNA

Shalin Shah, Dixita Limbachiya+1 more|arXiv (Cornell University)|Oct 25, 2013

DNA and Biological Computing参考文献 16被引用 11

一句话总结

DNACloud 是一款开源软件工具，可将数字文件编码为合成DNA序列，实现长期、高密度的数据存储，并可将DNA序列解码回原始文件。该工具利用DNA的高数据密度和稳定性，结合哈夫曼编码与纠错技术，支持最大3.4 GB的解码文件大小和554 MB的编码文件大小。

ABSTRACT

The term Big Data is usually used to describe huge amount of data that is generated by humans from digital media such as cameras, internet, phones, sensors etc. By building advanced analytics on the top of big data, one can predict many things about the user such as behavior, interest etc. However before one can use the data, one has to address many issues for big data storage. Two main issues are the need of large storage devices and the cost associated with it. Synthetic DNA storage seems to be an appropriate solution to address these issues of the big data. Recently in 2013, Goldman and his collegues from European Bioinformatics Institute demonstrated the use of the DNA as storage medium with capacity of storing 2.2 peta bytes of information on one gram of DNA and retrived the data successfully with low error rate. This significant step shows a promise for synthetic DNA storage as a useful technology for the future data storage. Motivated by this, we have developed a software called DNACloud which makes it easy to store the data on the DNA. In this work, we present detailed description of the software.

研究动机与目标

• 为高效且经济地存储海量大数据提供解决方案。
• 开发一款用户友好的软件工具，支持将数字文件编码为DNA序列并可逆解码。
• 利用合成DNA作为存储介质，实现可扩展、低维护且持久的数据存储。
• 为研究人员和开发者提供一个实用的开源平台，用于实验DNA基数据存储。
• 估算DNA存储数据的存储需求、生化特性（GC含量、熔解温度）及合成成本。

提出的方法

• 采用2013年Goldman等人DNA存储方法的改进版本，集成纠错机制并提升编码效率。
• 使用哈夫曼编码在转换为DNA序列前对数据进行压缩，提高存储效率。
• 将编码后的数据划分为固定长度（117个碱基）的DNA片段，每个片段附带一个索引信息字符串（三进制，15位数字），用于重建。
• 在每个片段的开头添加'A'或'T'，在末尾添加'G'或'C'，以平衡核苷酸组成并提升稳定性。
• 提供图形用户界面（GUI），具备文件编码/解码、内存与生化特性估算、以及合成器和测序仪导出选项等功能。
• 包含存储估算器，可根据输入文件大小预测所需DNA量、GC含量、熔解温度及成本。

实验结果

研究问题

• RQ1 如何高效地将数字数据编码为DNA序列，以实现长期、高密度存储？
• RQ2 何种软件架构与算法可实现可靠且可扩展的DNA基数据编码与解码？
• RQ3 DNA存储数据的实际存储与生化限制（如GC含量、熔解温度、成本）是什么？
• RQ4 在DNA编码与解码过程中，如何保持纠错能力与数据完整性？
• RQ5 专为DNA基数据存储设计的软件工具的文件大小限制是什么？如何扩展这些限制？

主要发现

• DNACloud 成功将最大554 MB的文件编码为DNA序列，解码能力上限为3.4 GB。
• 该软件支持纠错机制，并采用哈夫曼编码以提高编码效率并减小数据尺寸。
• 该工具可估算DNA序列的关键生化特性，如GC含量与熔解温度，有助于实验设计。
• 提供DNA合成成本估算，支持DNA存储应用的实际规划。
• 软件包含图形用户界面（GUI），支持文件编码、解码、数据导出及用户身份验证，保障数据安全。
• DNACloud 为开源软件，提供Windows与Mac的安装程序，附带用户手册与演示资料。