[論文レビュー] Toggling a Genetic Switch Using Reinforcement Learning

Aivar Sootla, Natalja Strelkowa+3 more|arXiv (Cornell University)|Mar 12, 2013

Gene Regulatory Network Analysis参考文献 14被引用数 14

ひとこと要約

本稿では、詳細な数学的モデルを必要とせずに、合成遺伝子スイッチのオン・オフ切り替えを強化学習に基づく制御フレームワークを提案する。シミュレーションまたは実験データを用いたフィットドQ反復を用いることで、タンパク質濃度を標的状態に誘導する最適制御方策を学習する。この手法は、確率的ダイナミクスに対しても対応可能であり、探索と活用のトレードオフを考慮した効率的なオンライン適応を可能にし、パrametric不確実性下でも有効である。

ABSTRACT

In this paper, we consider the problem of optimal exogenous control of gene regulatory networks. Our approach consists in adapting an established reinforcement learning algorithm called the fitted Q iteration. This algorithm infers the control law directly from the measurements of the system's response to external control inputs without the use of a mathematical model of the system. The measurement data set can either be collected from wet-lab experiments or artificially created by computer simulations of dynamical models of the system. The algorithm is applicable to a wide range of biological systems due to its ability to deal with nonlinear and stochastic system dynamics. To illustrate the application of the algorithm to a gene regulatory network, the regulation of the toggle switch system is considered. The control objective of this problem is to drive the concentrations of two specific proteins to a target region in the state space.

研究の動機と目的

• 宿細胞への負担を最小限に抑えつつ、望ましい挙動を達成するモデルフリー制御戦略の開発。
• データ駆動型の強化学習を用いて、遺伝子調節ネットワークのモデリングの複雑さと確率的ダイナミクスの課題に取り組む。
• 事前学習済み方策と実験またはシミュレーションからのリアルタイムデータを組み合わせることで、効率的なオンライン学習を実現する。
• パrametric不確実性と確率的ダイナミクス下でも、スイッチのロバストな制御を達成する。
• 構造的に類似しているが定量的に異なるシステムへ、制御方策の一般化を実証する。

提案手法

• システムモデルを必要とせず、1ステップのシステム遷移（状態、行動、次状態）からなるデータを用いて、フィットドQ反復により制御方策を推定する。
• シミュレーションまたは過去の実験からの入出力データを訓練データとして用い、制御方策を初期化する。
• 徐々に減少するε-greedy方策を用いた探索と活用の戦略を適用し、データ収集と制御性能のバランスを取る。
• 新規の実験またはシミュレーションデータと歴史的観測データを混合して、オンラインで制御方策を更新する。
• フィットドQ反復のサンプル効率性と非パrametric特性のおかげで、非線形かつ確率的ダイナミクスを自然に扱える。
• 探索レートε·σ(t)を単調に減少させるように設定し、初期段階では探索を優先し、後続段階では活用を優先する。

実験結果

リサーチクエスチョン

• RQ1 詳細な数学的モデルに依存しないモデルフリーの強化学習手法が、合成遺伝子スイッチを効果的に制御できるか。
• RQ2 パrametric不確実性を伴う、構造的に類似したが異なるシステムに適用した場合、フィットドQ反復アルゴリズムの一般化性能はどの程度か。
• RQ3 制御中に生じる遺伝子発現ダイナミクスの内在的確率性は、どの程度アルゴリズムに影響を与えるか。
• RQ4 リアルタイム設定下で、探索と活用のトレードオフが収束速度と制御精度に与える影響は何か。
• RQ5 リアルタイムデータを用いたオンライン方策更新は、静的で事前学習済み方策と比較して、制御性能を顕著に向上させるか。

主な発見

• アルゴリズムは、決定論的および確率的シミュレーションの両方で、トレーニングおよびバリデーションモデルの定量的挙動が著しく異なる状況下でも、遺伝子スイッチを標的タンパク質濃度状態に切り替えることに成功した。
• 確率的ダイナミクスに対してロバストであることが実証され、確率的ケースにおける制御性能の質的特徴は決定論的ケースと類似していた。
• 光パルス使用に対するペナルティを高く設定した場合、スイッチの切り替えに時間がかかったことから、制御目的のコスト制約に適応していることが確認された。
• ε = 0.5、0.25、0.1でのオンライン更新を用いた実験では、高い探索率がより速い学習をもたらしたが、すべての軌道が正常に標的に到達した。
• パrametric不確実性を伴うシステム間でも、フレームワークの一般化性能が高く、より複雑な合成遺伝子ネットワークへの応用可能性を示唆している。
• アルゴリズムは、変更なしに確率的システムに適用しても性能を維持したため、ノイズを含む実際の生物学的データに inherently 適したことが強調された。