[논문 리뷰] Deep Reinforcement Learning for Control of Probabilistic Boolean Networks

Georgios Papagiannis, Sotiris Moschoyiannis|arXiv (Cornell University)|2019. 09. 07.

Gene Regulatory Network Analysis인용 수 4

한 줄 요약

이 논문은 확률적 부울 네트워크(PBNs)를 목표 상태, 예를 들어 유리한 액트러비터로 제어하기 위해, 기저 네트워크 동역학에 대한 지식이 필요하지 않은 모델-프리 딥 강화학습 접근법을 제안한다. 이 방법은 싱귤러 및 실제 생물학적 PBN에서 유한한 시간 단계 내에 효과적인 제어 전략을 학습하며, 체계 생물학 및 유전자 조절 네트워크 간섭에 응용 가능성을 입증한다.

ABSTRACT

Probabilistic Boolean Networks (PBNs) were introduced as a computational model for the study of complex dynamical systems, such as Gene Regulatory Networks (GRNs). Controllability in this context is the process of making strategic interventions to the state of a network in order to drive it towards some other state that exhibits favourable biological properties. In this paper we study the ability of a Double Deep Q-Network with Prioritized Experience Replay in learning control strategies within a finite number of time steps that drive a PBN towards a target state, typically an attractor. The control method is model-free and does not require knowledge of the network's underlying dynamics, making it suitable for applications where inference of such dynamics is intractable. We present extensive experiment results on two synthetic PBNs and the PBN model constructed directly from gene-expression data of a study on metastatic-melanoma.

연구 동기 및 목표

• 기저 네트워크 동역학에 대한 명시적 지식이 필요 없는 Probabilistic Boolean Networks(PBNs)를 위한 모델-프리 제어 전략을 개발하는 것.
• 질병 없는 액트러비터와 같은 유리한 상태로 향하는 복잡한 생물학적 네트워크, 예를 들어 유전자 조절 네트워크(GRNs)를 제어하는 과제를 해결하는 것.
• 유한한 시간 단계 내에서 PBN에서 최적의 제어 정책을 학습하는 데에 딥 강화학습의 효과성을 평가하는 것.
• 제안된 방법이 합성 PBN과 전이성 멜라노마 유전자 발현 데이터로부터 유도된 실제 생물학적 PBN에 적용 가능한지 확인하는 것.

제안 방법

• 이 방법은 모델-프리 방식으로 최적의 제어 정책을 학습하기 위해 우선순위 경험 재생을 갖춘 더블 딥 Q-네트워크(DDQN)를 사용한다.
• 에이전트는 유전자 간섭 조치를 선택하여 PBN 환경과 상호작용함으로써 네트워크 상태를 목표 액트러비터로 이동시킨다.
• 우선순위 경험 재생은 시간 차분 오차가 높은 전이에 집중함으로써 샘플 효율성을 향상시킨다.
• Q-네트워크는 상태-행동-보상-다음 상태 튜플을 저장하는 재생 버퍼를 사용하여 훈련되며, 벨먼 오차를 최소화하도록 Q-값 함수를 업데이트한다.
• 알고리즘은 유한한 시간 영역 내에서 수렴하도록 설계되어 실질적인 생물학적 간섭 시나리오에 적합하다.
• PBN 전이 동역학의 명시적 모델링이 필요 없으므로, 이러한 추론이 비가역적인 환경에 적용 가능하다.

실험 결과

연구 질문

• RQ1 딥 강화학습은 네트워크의 동역학에 대한 사전 지식 없이도 확률적 부울 네트워크(PBNs)에 대해 효과적인 제어 정책을 학습할 수 있는가?
• RQ2 우선순위 경험 재생을 갖춘 더블 딥 Q-네트워크는 유한한 시간 단계 내에 PBN을 목표 액트러비터 상태로 이끄는 데 얼마나 잘 작동하는가?
• RQ3 제안된 방법은 합성 PBN과 전이성 멜라노마 유전자 발현 데이터로부터 유도된 실제 생물학적 PBN에서 각각 어떤 성능을 보이는가?
• RQ4 복잡한 확률적 네트워크에서 샘플 효율성과 수렴성 측면에서 모델-프리 접근법은 전통적 제어 방법보다 어떻게 비교되는가?

주요 결과

• 제안된 방법은 합성 PBN에서 목표 액트러비터로의 이동을 일정한 시간 단계 내에 효과적으로 학습하였으며, 기저 동역학 지식 없이도 효과적인 학습이 가능함을 입증하였다.
• 실제 유전자 발현 데이터로부터 유도된 전이성 멜라노마 PBN 모델에서, 이 방법은 유리한 액트러비터로 수렴하는 데 성공하여 치료적 간섭의 잠재력을 보여주었다.
• 우선순위 경험 재생은 균일한 재생 대비 학습 안정성과 샘플 효율성을 크게 향상시켰으며, 더 빠른 수렴 속도로 이를 입증하였다.
• 더블 딥 Q-네트워크 아키텍처는 Q-값 추정의 과도한 추정 편향을 감소시켜 더 신뢰할 수 있는 정책 학습을 이끌었다.
• 모델-프리 접근법은 고도로 확률적인 구조와 복잡한 액트러비터 구조를 가진 다양한 PBN 구조에 대해 강건함을 입증하였다.
• 중간 크기의 PBN에 대해서도 확장성이 있었으며, 합리적인 훈련 에피소드 수 내에서 성공적인 제어 전략을 학습하였다.