[논문 리뷰] DynGFN: Towards Bayesian Inference of Gene Regulatory Networks with GFlowNets

Lazar Atanackovic, Alexander Tong외 4명|arXiv (Cornell University)|2023. 02. 08.

Gene Regulatory Network AnalysisBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

DynGFN은 RNA 속도 데이터를 활용하여 순환적 의존성과 지식적 불확실성을 동시에 모델링하는 베이지안 구조 학습 프레임워크를 제안한다. 역동적 시스템의 희소 식별 문제로 간주하여 GRN 추론을 수행하고, GFlowNets를 활용해 순환 그래프 위의 복잡한 사후 분포를 추정함으로써, 합성 데이터 및 단일세포 데이터에서 기존 최고 수준의 방법보다 더 낮은 KL 발산과 베이즈-SHD를 달성하여 불확실성 측정을 향상시킨다.

ABSTRACT

One of the grand challenges of cell biology is inferring the gene regulatory network (GRN) which describes interactions between genes and their products that control gene expression and cellular function. We can treat this as a causal discovery problem but with two non-standard challenges: (1) regulatory networks are inherently cyclic so we should not model a GRN as a directed acyclic graph (DAG), and (2) observations have significant measurement noise, so for typical sample sizes there will always be a large equivalence class of graphs that are likely given the data, and we want methods that capture this uncertainty. Existing methods either focus on challenge (1), identifying cyclic structure from dynamics, or on challenge (2) learning complex Bayesian posteriors over DAGs, but not both. In this paper we leverage the fact that it is possible to estimate the "velocity" of gene expression with RNA velocity techniques to develop an approach that addresses both challenges. Because we have access to velocity information, we can treat the Bayesian structure learning problem as a problem of sparse identification of a dynamical system, capturing cyclic feedback loops through time. Since our objective is to model uncertainty over discrete structures, we leverage Generative Flow Networks (GFlowNets) to estimate the posterior distribution over the combinatorial space of possible sparse dependencies. Our results indicate that our method learns posteriors that better encapsulate the distributions of cyclic structures compared to counterpart state-of-the-art Bayesian structure learning approaches.

연구 동기 및 목표

• 노이즈가 많고 제한된 단일세포 데이터에서 유전자 조절 네트워크(GRN) 추론 시 순환 피드백 루프를 모델링하고 불확실성을 캡처하는 이중 과제를 해결하기 위해.
• 그래프 구조와 시스템 파라미터의 사후 분포를 동시에 추정하는 완전히 미분 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 실험적 조작이 비용이 많이 들기 때문에, 단일 최적의 그래프가 아니라 가능한 GRN 구조의 분포를 모델링함으로써, 실험적 제약 조건이 있는 환경에서 신뢰할 수 있는 인과적 발견을 가능하게 하기 위해.
• 기존 방법들이 순환 시스템의 복잡한 불확실성을 모델링하지 못하거나, 비순환 구조(DAG)를 가정하는 등의 한계를 극복하기 위해.
• 합성 시스템과 실제 단일세포 RNA-seq 데이터에서, 특히 순환 GRN에 대한 사후 분포를 잘 캡처할 수 있음을 입증하기 위해.

제안 방법

• DynGFN는 GFlowNet을 사용하여 GRN 구조의 사후 분포를 모델링하며, 가능한 의존성의 조합 공간에서 희소한 순환 그래프를 순차적 정책에 따라 샘플링하는 데 학습한다.
• RNA 속도 데이터를 활용해 유전자 발현 속도(dx/dt)를 추정하고, GRN 추론을 드리프 함수로 규제 상호작용을 모델링하는 역동적 시스템의 희소 식별 문제로 간주한다.
• 하이퍼넷워크(HyperNetwork)를 사용해 추론된 그래프 구조 G에 조건부로 시스템 파라미터(θ)의 사후 분포를 모델링함으로써 엔드 투 엔드 미분 가능성을 확보한다.
• 관측된 동적 데이터(x, dx)를 잘 설명하는지 평가하는 스코어 함수를 통해 그래프 구조와 파라미터 사후 분포를 동시에 최적화한다.
• GFlowNets를 사용함으로써 사후 분포에 대한 제한적인 파rametric 가정을 피하고, 조합 구조 위에서 복잡한 이산 분포를 자연스럽게 모델링한다.
• 데이터 피팅(예: 음의 로그우도) 기반의 보상 신호를 사용한 강화학습을 통해 훈련함으로써, 큰 등가 클래스의 그래프에 대한 스케일러블한 사후 추정이 가능해진다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 제한된 데이터에서, 베이지안 구조 학습 프레임워크가 순환적 유전자 조절 네트워크에 대한 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 RNA 속도 데이터를 활용하면 순환 조절 구조의 식별성이 GRN 추론에서 향상되는가?
• RQ3 이산적이고 순환적인 그래프 구조 위에서 GFlowNets를 사용해 사후 분포를 추정하는 것이, 기존의 DAG 기반 베이지안 방법보다 더 나은 불확실성 정량화를 이끌어내는가?
• RQ4 합성 및 실제 단일세포 데이터에서 DynGFN은 진정한 GRN 구조 사후 분포를 기존 최고 수준의 기준 방법보다 얼마나 잘 캡처하는가?
• RQ5 이 방법은 현실적인 생물학적 시스템에 얼마나 스케일링 가능한가? 현재 구현에서의 주요 병목 현상은 무엇인가?

주요 결과

• 81개의 허용 가능한 그래프를 가진 5차원 합성 동적 시스템에서, ℓ-DynGFN는 유사한 구조 복구 성능에도 불구하고 불확실성 모델링에서 훨씬 뛰어난 성능을 보였다. Bayes-SHD는 3.3 ± 0.4, KL 발산은 44.98 ± 18.60을 기록했으며, 이는 ℓ-DynBCD(베이즈-SHD: 2.6 ± 0.1, KL: 321.95 ± 3.34)보다 유의미하게 뛰어났다.
• h-DynGFN는 모든 모델 중에서 가장 낮은 KL 발산(39.82 ± 28.05)과 중간 수준의 Bayes-SHD(5.1 ± 1.2)를 기록하여, 우수한 사후 근사와 양호한 데이터 피팅을 동시에 확보했다.
• h-DynDiBS 및 h-DynBCD와 같은 기준 모델 대비 AUC(0.58–0.59)가 향상되고 NLL가 낮아져, 더 나은 일반화 및 사후 분포의 캘리브레이션을 보였다.
• 단일세포 섬유아이드 세포 데이터셋에서, DynGFN는 세포 주기 동안 유전자 간 상관관계를 더 잘 포착했으며, 잠재 생물학적 동역학을 더 잘 모델링하고 노이즈 영향을 줄였다는 것을 시사했다.
• 결과적으로, DAG 중심의 베이지안 기준 방법들이 높은 불확실성에도 불구하고 단일 그래프로 수렴하는 데 비해, DynGFN는 순환적 구조에 대한 진정한 사후 분포를 더 잘 포괄하고 있음을 보여주었다.
• 성능는 우수하지만, 그래프 탐색 공간의 지수적 증가로 인해 확장성에 한계를 보이며, 현재는 저차원 시스템(5–20변수)에 국한되어 있다.