[論文レビュー] Deep Molecular Programming: A Natural Implementation of Binary-Weight ReLU Neural Networks

Marko Vasić, Cameron Chalk+2 more|arXiv (Cornell University)|Mar 30, 2020

Advanced biosensing and bioanalysis techniques参考文献 35被引用数 6

ひとこと要約

本論文は、安定で反応速度に依存しない化学反応を用いて、ネイティブにバイナリ重みReLUニューラルネットワーク—特にBinaryConnect—を実装する、革新的な分子プログラミングパラダイムを提案する。訓練済みのディープラーニングモデルを同等の反応ネットワークにコンパイルすることで、分子的文脈における信頼性の高い計算が可能となり、IRISおよびMNISTデータセットで検証され、遺伝子発現レベルを用いたウイルスの識別に応用された。

ABSTRACT

Embedding computation in molecular contexts incompatible with traditional electronics is expected to have wide ranging impact in synthetic biology, medicine, nanofabrication and other fields. A key remaining challenge lies in developing programming paradigms for molecular computation that are well-aligned with the underlying chemical hardware and do not attempt to shoehorn ill-fitting electronics paradigms. We discover a surprisingly tight connection between a popular class of neural networks (binary-weight ReLU aka BinaryConnect) and a class of coupled chemical reactions that are absolutely robust to reaction rates. The robustness of rate-independent chemical computation makes it a promising target for bioengineering implementation. We show how a BinaryConnect neural network trained in silico using well-founded deep learning optimization techniques, can be compiled to an equivalent chemical reaction network, providing a novel molecular programming paradigm. We illustrate such translation on the paradigmatic IRIS and MNIST datasets. Toward intended applications of chemical computation, we further use our method to generate a chemical reaction network that can discriminate between different virus types based on gene expression levels. Our work sets the stage for rich knowledge transfer between neural network and molecular programming communities.

研究の動機と目的

• 電子的パラダイムからの人工的なマッピングを回避し、化学的ハードウェアと自然に整合する分子計算のプログラミングパラダイムを開発すること。
• 反応速度が本質的に変動し予測不能である分子系において、信頼性の高い計算を実現する課題に対処すること。
• 化学的実行可能な翻訳プロセスを通じて、訓練済みのディープニューラルネットワークを生体化学的環境に展開可能にする。
• 遺伝子発現プロファイルに基づくウイルス型の識別といった、実用的タスクに分子計算を応用する可能性を実証すること。

提案手法

• バイナリ重みReLUニューラルネットワークの一種であるBinaryConnectの数学的構造を活用し、重みの量子化に対して頑健で、化学的実装に適している。
• 反応速度が任意であってもネットワークの挙動を保持するコンパイル手順を用いて、訓練済みのBinaryConnectモデルを同等の化学反応ネットワーク（CRNs）に変換する。
• 結果が動力学的反応速度に依存せず、化学计量比にのみ依存する「レートに依存しない計算モデル」を採用し、ノイズの多い生体化学的環境でも頑健性を確保する。
• 事前にコンパイルする前に、深層学習の最適化手法を用いてネットワークを訓練し、ベンチマークデータセットで高い精度を達成する。
• IRISの分類およびMNISTの数字分類といった実際のタスクに、コンパイルされたCRNsを適用し、機能的同等性を検証する。
• 合成生物学への応用に適応し、遺伝子発現レベルに基づいてウイルス型を区別するための、BinaryConnectモデルから導出したCRNを用いる。

実験結果

リサーチクエスチョン

• RQ1 バイナリ重みReLUニューラルネットワークは、反応速度の変動に頑健な化学反応ネットワークに、自然にコンパイル可能か？
• RQ2 シミュレーション上で訓練されたディープラーニングモデルは、どの程度信頼性を持って機能的分子回路に翻訳可能か？
• RQ3 このようなコンパイル済み分子プログラムは、ウイルス検出のような合成生物学的文脈で意味のある分類タスクを実行可能か？
• RQ4 元のニューラルネットワークと比較して、コンパイル済み化学反応ネットワークの機能的忠実度はどの程度か？
• RQ5 化学的実装のレートに依存しない性質が、生物学的に関連性のある環境で信頼性をどのように向上させるか？

主な発見

• 提案手法は、任意の反応速度に頑健であることが証明された同等の化学反応ネットワークに、訓練済みのBinaryConnectニューラルネットワークを成功裏にコンパイルした。
• コンパイル済みCRNsはIRISおよびMNISTデータセットで正確な分類を達成し、元のディープラーニングモデルと同等の機能的同等性を示した。
• 本フレームワークにより、遺伝子発現レベルに基づいて異なるウイルス型を区別できる分子回路の設計が可能になった。これは医学的応用に直結する応用分野である。
• 翻訳プロセスはネットワークの意思決定境界を保持しており、すべての条件下で分子実装が元のニューラルネットワークと同一に動作することを保証した。
• 化学計算のレートに依存しない性質により、生物学的システムに一般的に見られる予測不能な動力学的変動が存在しても、信頼性の高い動作が保証された。
• 本研究は、ディープラーニングと分子プログラミングの間で基礎的知識の転送を可能にする基盤を確立し、今後の分野横断的イノベーションを促進する。