[논문 리뷰] Deep Molecular Programming: A Natural Implementation of Binary-Weight ReLU Neural Networks

Marko Vasić, Cameron Chalk외 2명|arXiv (Cornell University)|2020. 03. 30.

Advanced biosensing and bioanalysis techniques참고 문헌 35인용 수 6

한 줄 요약

이 논문은 강건하고 비속도 의존적인 화학 반응을 사용하여 이진 가중치 ReLU 신경망—특히 BinaryConnect—를 본질적으로 구현하는 새로운 분자 프로그래밍 패러다임을 제안한다. 훈련된 딥러닝 모델을 등가의 반응 네트워크로 컴파일하여 분자 환경에서 신뢰성 있는 계산을 가능하게 하며, 이는 IRIS 및 MNIST 데이터셋에서 검증되었고, 유전자 발현 수준을 기반으로 바이러스 구별에 적용되었다.

ABSTRACT

Embedding computation in molecular contexts incompatible with traditional electronics is expected to have wide ranging impact in synthetic biology, medicine, nanofabrication and other fields. A key remaining challenge lies in developing programming paradigms for molecular computation that are well-aligned with the underlying chemical hardware and do not attempt to shoehorn ill-fitting electronics paradigms. We discover a surprisingly tight connection between a popular class of neural networks (binary-weight ReLU aka BinaryConnect) and a class of coupled chemical reactions that are absolutely robust to reaction rates. The robustness of rate-independent chemical computation makes it a promising target for bioengineering implementation. We show how a BinaryConnect neural network trained in silico using well-founded deep learning optimization techniques, can be compiled to an equivalent chemical reaction network, providing a novel molecular programming paradigm. We illustrate such translation on the paradigmatic IRIS and MNIST datasets. Toward intended applications of chemical computation, we further use our method to generate a chemical reaction network that can discriminate between different virus types based on gene expression levels. Our work sets the stage for rich knowledge transfer between neural network and molecular programming communities.

연구 동기 및 목표

• 전자적 패러다임에서의 인위적 매핑을 피하고 화학적 하드웨어와 자연스럽게 부합하는 분자 계산을 위한 프로그래밍 패러다임을 개발하기 위해.
• 반응 속도가 본질적으로 변동적이고 예측 불가능한 분자 시스템에서 신뢰성 있는 계산을 구현하는 데 도전하기 위해.
• 화학적으로 실행 가능한 번역 과정을 통해 훈련된 딥 뉴럴 네트워크를 생체 화학 환경에 구현할 수 있도록 하기 위해.
• 유전자 발현 프로파일을 기반으로 한 바이러스 유형 구별과 같은 실용적 과제를 위한 분자 계산의 가능성을 입증하기 위해.

제안 방법

• 이진 가중치 ReLU 신경망의 수학적 구조를 활용하며, 이는 가중치 양자화에 대해 강건하고 화학적 구현에 적합하다.
• 반응 속도에 관계없이 네트워크 동작을 유지하는 컴파일 절차를 사용하여 훈련된 BinaryConnect 모델을 등가의 화학 반응 네트워크(CRNs)로 변환한다.
• 결과가 속도에 의존하지 않고 스토이히오메트리에만 의존하는 비속도 의존 계산 모델을 사용하여, 노이즈가 많은 생체 환경에서도 강건성을 확보한다.
• 컴파일 이전에 표준적인 딥러닝 최적화 기법을 사용하여 신경망을 훈련시켜 기준 데이터셋에서 높은 정확도를 확보한다.
• IRIS 품종 분류 및 MNIST 숫자 분류와 같은 실제 과제에 컴파일된 CRNs를 적용하여 기존 딥러닝 모델과의 功能적 동등성을 검증한다.
• 합성 생물학 응용에 맞게 프레임워크를 변형하여, 이진 가중치 신경망에서 유도된 CRN을 사용해 유전자 발현 수준을 기반으로 바이러스 유형을 구별하는 데 적용한다.

실험 결과

연구 질문

• RQ1 이진 가중치 ReLU 신경망은 반응 속도 변동에 강건한 등가의 화학 반응 네트워크로 자연스럽게 컴파일될 수 있는가?
• RQ2 시뮬레이션 환경에서 훈련된 딥러닝 모델이 생물학적으로 실행 가능한 분자 회로로 신뢰성 있게 번역될 수 있는 정도는 어느 정도인가?
• RQ3 이러한 컴파일된 분자 프로그램은 바이러스 검출과 같은 합성 생물학적 맥락에서 의미 있는 분류 과제를 수행할 수 있는가?
• RQ4 원래 신경망과 비교해 볼 때, 컴파일된 화학 반응 네트워크의 기능적 정밀도는 어느 정도인가?
• RQ5 화학적 구현의 비속도 의존성은 생물학적으로 관련성이 있는 환경에서 신뢰성을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 훈련된 BinaryConnect 신경망을 임의의 반응 속도에 대해 증명 가능하게 강건한 등가의 화학 반응 네트워크로 성공적으로 컴파일한다.
• 컴파일된 CRNs는 IRIS 및 MNIST 데이터셋에서 정확한 분류 성능을 달성하여 원래의 딥러닝 모델과의 기능적 동등성을 입증한다.
• 이 프레임워크는 유전자 발현 수준을 기반으로 다양한 바이러스 유형을 구별할 수 있는 분자 회로 설계를 가능하게 하여, 의학적으로 관련성이 높은 응용 사례를 제공한다.
• 번역 과정 동안 네트워크의 결정 경계가 유지되어, 모든 조건에서 분자 구현이 원래 신경망과 동일하게 행동함을 보장한다.
• 화학 계산의 비속도 의존성 덕분에 생체 시스템에서 흔히 발생하는 예측 불가능한 속도 변동에도 불구하고 안정적인 작동이 보장된다.
• 딥러닝과 분자 프로그래밍 간의 기초 지식 이동 다리를 구축하여 향후 이분야 간 혁신을 가능하게 한다.