[논문 리뷰] Toggling a Genetic Switch Using Reinforcement Learning

Aivar Sootla, Natalja Strelkowa외 3명|arXiv (Cornell University)|2013. 03. 12.

Gene Regulatory Network Analysis참고 문헌 14인용 수 14

한 줄 요약

이 논문은 정확한 수학적 모델이 필요 없이 합성 유전자 스위치를 켤 수 있는 강화학습 기반 제어 프레임워크를 제안한다. 시뮬레이션 또는 실험 데이터를 바탕으로 피팅된 Q-반복을 사용하여, 단백질 농도를 목표 상태로 이끄는 최적의 제어 정책을 학습한다. 이는 확률적 역학을 효과적으로 다루며, 탐색-이용 균형을 고려한 효율적인 온라인 적응을 가능하게 하며, 파rametric 불확실성 하에서도 성공적으로 작동한다.

ABSTRACT

In this paper, we consider the problem of optimal exogenous control of gene regulatory networks. Our approach consists in adapting an established reinforcement learning algorithm called the fitted Q iteration. This algorithm infers the control law directly from the measurements of the system's response to external control inputs without the use of a mathematical model of the system. The measurement data set can either be collected from wet-lab experiments or artificially created by computer simulations of dynamical models of the system. The algorithm is applicable to a wide range of biological systems due to its ability to deal with nonlinear and stochastic system dynamics. To illustrate the application of the algorithm to a gene regulatory network, the regulation of the toggle switch system is considered. The control objective of this problem is to drive the concentrations of two specific proteins to a target region in the state space.

연구 동기 및 목표

• 세포의 부담을 최소화하면서 원하는 행동을 달성하는 모델-프리 제어 전략을 개발하는 것.
• 데이터 기반 강화학습을 통해 유전자 조절 네트워크의 복잡한 모델링과 확률적 특성을 다루는 것.
• 사전에 학습된 정책과 실험 또는 시뮬레이션에서 실시간으로 얻은 데이터를 융합하여 효율적인 온라인 학습을 가능하게 하는 것.
• 파arametric 불확실성과 확률적 역학 하에서도 스위치의 강건한 제어를 달성하는 것.
• 구조적으로 유사하지만 정량적으로 다른 시스템 간에 제어 정책의 일반화 성능을 입증하는 것.

제안 방법

• 시스템 모델이 필요 없이 한 스텝의 시스템 전이(상태, 조작, 다음 상태) 데이터로부터 제어 정책을 추론하기 위해 피팅된 Q-반복을 사용한다.
• 시뮬레이션 또는 이전 실험의 입력-출력 데이터를 학습 데이터로 사용하여 제어 정책을 초기화한다.
• 데이터 수집과 제어 성능의 균형을 맞추기 위해 감소하는 에프실론-그리디 정책을 사용한 탐색-이용 전략을 적용한다.
• 신규 실험 또는 시뮬레이션 데이터를 이전 관측치와 혼합하여 제어 정책을 온라인으로 업데이트한다.
• 피팅된 Q-반복의 샘플 효율성과 비모수적 성질 덕분에 비선형성과 확률적 역학을 자연스럽게 다룬다.
• 탐색을 초기에 우선시하고 후기에는 이용을 우선시하기 위해 단조롭게 감소하는 탐색률 ε·σ(t)를 사용한다.

실험 결과

연구 질문

• RQ1 모델-프리 강화학습 접근법이 정확한 수학적 모델 없이도 합성 유전자 토글 스위치를 효과적으로 제어할 수 있는가?
• RQ2 피팅된 Q-반복 알고리즘이 파arametric 불확실성이 있는 구조적으로 유사하지만 다른 시스템에 적용되었을 때 일반화 성능은 어떠한가?
• RQ3 제어 과정에서 유전자 발현 역학의 내재적 확률적 특성은 알고리즘에 어떤 영향을 미치는가?
• RQ4 실시간 환경에서 탐색-이용 균형의 영향을 고려할 때 수렴 속도와 제어 정확도에 어떤 영향을 미치는가?
• RQ5 실시간 데이터를 사용한 온라인 정책 업데이트가 정적 사전 학습 정책에 비해 제어 성능을 크게 향상시키는가?

주요 결과

• 알고리즘은 훈련 및 검증 모델의 정량적 행동이 크게 다를 경우에도 결정론적 및 확률적 시뮬레이션 모두에서 목표 단백질 농도 상태로 스위치를 성공적으로 토글시켰다.
• 확률적 특성에 대해 강건성을 입증하였으며, 확률적 경우의 제어 성능은 결정론적 경우와 거의 동일한 품질을 보였다.
• 조명 펄스 사용에 대한 보상이 높아지자 알고리즘이 스위치를 토글하는 데 더 오랜 시간이 소요졌으며, 이는 제어 목표의 비용 제약에 적응함을 확인했다.
• ε = 0.5, 0.25, 0.1로 온라인 업데이트를 수행한 결과, 높은 탐색률일수록 더 빠른 학습이 이루어졌지만, 모든 경로가 목표에 성공적으로 도달하였다.
• 파arametric 불확실성이 있는 시스템 간에 프레임워크가 잘 일반화되었으며, 더 복잡한 합성 유전자 네트워크에의 적용 가능성을 시사한다.
• 알고리즘이 수정 없이도 확률적 시스템에 적용되었을 때 성능를 유지하였으며, 노이즈가 있는 실제 생물학적 데이터에 대한 내재적 적합성을 입증하였다.