[论文解读] Deep Molecular Programming: A Natural Implementation of Binary-Weight ReLU Neural Networks

Marko Vasić, Cameron Chalk+2 more|arXiv (Cornell University)|Mar 30, 2020

Advanced biosensing and bioanalysis techniques参考文献 35被引用 6

一句话总结

本文提出了一种新型分子编程范式，通过稳健、速率无关的化学反应原生实现二值权重ReLU神经网络——具体为BinaryConnect——利用训练好的深度学习模型编译为等效反应网络，实现在分子环境中的可靠计算，已在IRIS和MNIST数据集上得到验证，并应用于基于基因表达水平的病毒鉴别。

ABSTRACT

Embedding computation in molecular contexts incompatible with traditional electronics is expected to have wide ranging impact in synthetic biology, medicine, nanofabrication and other fields. A key remaining challenge lies in developing programming paradigms for molecular computation that are well-aligned with the underlying chemical hardware and do not attempt to shoehorn ill-fitting electronics paradigms. We discover a surprisingly tight connection between a popular class of neural networks (binary-weight ReLU aka BinaryConnect) and a class of coupled chemical reactions that are absolutely robust to reaction rates. The robustness of rate-independent chemical computation makes it a promising target for bioengineering implementation. We show how a BinaryConnect neural network trained in silico using well-founded deep learning optimization techniques, can be compiled to an equivalent chemical reaction network, providing a novel molecular programming paradigm. We illustrate such translation on the paradigmatic IRIS and MNIST datasets. Toward intended applications of chemical computation, we further use our method to generate a chemical reaction network that can discriminate between different virus types based on gene expression levels. Our work sets the stage for rich knowledge transfer between neural network and molecular programming communities.

研究动机与目标

• 开发一种与化学硬件天然契合的分子计算编程范式，避免从电子范式人工映射至化学系统。
• 解决在反应速率固有可变且不可预测的分子系统中实现可靠计算的挑战。
• 通过化学可执行的翻译过程，实现在生化环境中部署训练好的深度神经网络。
• 展示利用分子计算实现实际任务（如基于基因表达谱的病毒类型鉴别）的可行性。

提出的方法

• 利用BinaryConnect这一类二值权重ReLU神经网络的数学结构，其对权重量化具有鲁棒性，且适合化学实现。
• 通过一种编译过程将训练好的BinaryConnect模型转化为等效的化学反应网络（CRNs），该过程在任意反应速率下均保持网络行为不变。
• 采用速率无关的计算模型，其结果仅取决于化学计量，而不依赖于动力学速率，从而确保在嘈杂生化环境中的鲁棒性。
• 使用成熟的深度学习优化技术在训练神经网络前进行优化，确保在基准数据集上达到高精度。
• 将编译后的CRNs应用于实际任务，如鸢尾花物种分类和MNIST数字识别，验证其功能等价性。
• 将该框架适配至合成生物学应用：基于基因表达水平，利用源自BinaryConnect模型的CRN区分不同类型的病毒。

实验结果

研究问题

• RQ1 二值权重ReLU神经网络能否被自然地编译为对反应速率变化具有鲁棒性的化学反应网络？
• RQ2 在计算机中训练的深度学习模型在多大程度上可被可靠地翻译为功能性的分子电路？
• RQ3 此类编译后的分子程序是否能在合成生物学背景下执行有意义的分类任务，如病毒检测？
• RQ4 与原始神经网络相比，编译后的化学反应网络的功能保真度如何？
• RQ5 化学实现的速率无关性如何增强在生物相关环境中的可靠性？

主要发现

• 所提出的方法成功将训练好的BinaryConnect神经网络编译为等效的化学反应网络，且该网络在任意反应速率下均具有可证明的鲁棒性。
• 编译后的CRNs在IRIS和MNIST数据集上实现了高精度分类，证明其与原始深度学习模型的功能等价性。
• 该框架实现了设计一种分子电路，能够基于基因表达水平区分不同类型的病毒，具有重要的生物医学应用价值。
• 翻译过程保留了网络的决策边界，确保分子实现与原始神经网络在所有条件下行为完全一致。
• 化学计算的速率无关性确保了即使在生物系统中常见的不可预测动力学变化下，系统仍能可靠运行。
• 该工作在深度学习与分子编程之间建立了基础性的知识迁移桥梁，为未来跨领域创新铺平道路。