[논문 리뷰] NODAGS-Flow: Nonlinear Cyclic Causal Structure Learning

Muralikrishnna G. Sethuraman, Romain Lopez외 4명|arXiv (Cornell University)|2023. 01. 04.

Single-cell and spatial transcriptomicsBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

NODAGS-Flow는 비선형 순환 인과 그래픽 모델을 간섭 데이터로부터 학습하기 위한 새로운 프레임워크로, 시스템을 이산 동역학 시스템으로 모델링하고, 수축성 잔여 정규화 플로우를 사용하여 직접 가능도 최적화를 가능하게 한다. 이는 합성 데이터와 단일세포 간섭 데이터 모두에서 기존 최고 수준의 방법들보다 인과 구조 복원 및 예측 성능에서 뛰어나며, 특히 비선형성과 순환성 설정에서 뛰어난 성능을 보인다.

ABSTRACT

Learning causal relationships between variables is a well-studied problem in statistics, with many important applications in science. However, modeling real-world systems remain challenging, as most existing algorithms assume that the underlying causal graph is acyclic. While this is a convenient framework for developing theoretical developments about causal reasoning and inference, the underlying modeling assumption is likely to be violated in real systems, because feedback loops are common (e.g., in biological systems). Although a few methods search for cyclic causal models, they usually rely on some form of linearity, which is also limiting, or lack a clear underlying probabilistic model. In this work, we propose a novel framework for learning nonlinear cyclic causal graphical models from interventional data, called NODAGS-Flow. We perform inference via direct likelihood optimization, employing techniques from residual normalizing flows for likelihood estimation. Through synthetic experiments and an application to single-cell high-content perturbation screening data, we show significant performance improvements with our approach compared to state-of-the-art methods with respect to structure recovery and predictive performance.

연구 동기 및 목표

• 기존 인과 구조 학습 방법이 비순환 인과 그래프를 가정하는 한계를 해결하기 위해, 실제 시스템(예: 유전자 조절 네트워크)에서 흔한 피드백 루프를 잘 포착하지 못하는 문제를 해결한다.
• 비순환성 제약 조건에 의존하지 않고, 간섭 데이터로부터 비선형적이고 순환적인 인과 관계를 학습하기 위한 확장 가능하고 미분 가능한 프레임워크를 개발한다.
• 피드백 루프가 존재하고 비선형 기능 관계가 있는 환경에서 정확한 구조 복원 및 예측 성능을 달성한다.
• 관측 데이터와 간섭 데이터를 모두 처리할 수 있는 통합된 접근 방식을 제공하여 간섭 유형에 따라 데이터를 분할할 필요가 없도록 한다.
• 고속 단일세포 간섭 데이터(예: Perturb-CITE-seq)를 활용하여 유전자 조절 네트워크의 예측 모델링을 향상시킨다.

제안 방법

• 관측 변수를 이산 동역학 시스템의 정 steady-state로 모델링하여, 기반 인과 그래프에 순환 구조를 허용한다.
• 시스템의 정상 상태 해를 이용해 데이터의 가능도를 수식화함으로써 직접 가능도 최적화를 가능하게 한다.
• 수축성 잔여 정규화 플로우를 사용하여 비선형 기능 관계를 통해 가능도를 효율적으로 추정하고 기울기 역전파를 수행한다.
• 비순환성 제약 조건을 강제하지 않기 때문에 DAG에 대한 조합적 탐색을 피하고, 순환 시스템의 구조적 제약 조건을 암묵적으로 준수하는 연속 최적화 프레임워크를 사용한다.
• 관측 데이터와 간섭 전용 데이터를 모두 처리할 수 있도록 간섭 데이터 기반으로 엔드 투 엔드로 경량화된 경량화를 수행하며, 경사 하강법을 통해 학습한다.
• 인과 그래프와 비선형 함수를 동시에 추정함으로써 인과 구조 학습과 예측 모델링을 동시에 지원한다.

Figure 1: Performance on synthetic interventional data. The box plots show the median and inter-quartile ranges over the independent trails.

실험 결과

연구 질문

• RQ1 비순환성 제약 조건을 강제하지 않고도 가능도 기반 프레임워크가 비선형 순환 인과 구조를 효과적으로 학습할 수 있는가?
• RQ2 비선형성과 순환성에 기인한 의존성 하에서 NODAGS-Flow는 최고 수준의 방법들과 비교해 얼마나 잘 인과 그래프를 복원하는가?
• RQ3 DAG 기반 또는 선형 순환 모델과 비교해 NODAGS-Flow는 새로운 간섭에 대해 더 뛰어난 예측 성능을 달성할 수 있는가?
• RQ4 인과 모델에 순환 구조를 포함시키면 실제 단일세포 간섭 데이터에서 예측 정확도가 향상되는가?
• RQ5 고차원 설정에서 간섭 수의 변화에 대해 NODAGS-Flow는 얼마나 강인한가?

주요 결과

• 비선형 기능 관계를 가진 합성 데이터에서 NODAGS-Flow는 LLC와 같은 최고 수준의 방법들을 크게 앞서며, 특히 순환 설정에서 인과 구조 복원 성능이 뛰어나다.
• 단지 4개의 간섭만으로도 10개 노드의 비선형 순환 그래프에서 거의 완벽한 인과 구조 복원을 달성했으며, LLC는 더 많은 간섭이 필요했고 순수 관측 데이터 처리가 불가능했다.
• 61개 유전자를 포함한 실제 Perturb-CITE-seq 데이터에서 NODAGS-Flow는 간섭 부정 가능도(I-NLL)와 간섭 평균 절대 오차(I-MAE) 모두에서 가장 낮은 수치를 기록했으며, 모든 기준선 모델을 압도했다.
• 예측 성능이 새로운 간섭에 대해 뛰어나 보이며, 비선형 복잡한 생물학적 시스템에서 순환성을 모델링함으로써 일반화 능력 향상이 가능함을 시사한다.
• NODAGS-Flow는 단일세포 전사체 분석 데이터로부터 생물학적으로 해석 가능한 유전자 조절 네트워크를 성공적으로 학습했으며, 인접 행렬에 클러스터 유사한 구조를 드러냈다.
• 데이터 유형에 관계없이 간섭 유형에 따라 데이터를 분할할 필요 없이 관측 데이터와 간섭 데이터를 모두 처리할 수 있어 강인하다.

Figure 2: Performance on synthetic observational data. The box plots show the median and inter-quartile ranges over the independent trails.