[논문 리뷰] Large-Scale Differentiable Causal Discovery of Factor Graphs

Romain Lopez, Jan-Christian Hütter외 2명|arXiv (Cornell University)|2022. 06. 15.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

이 논문은 인과적 상호작용의 저랭크 구조를 강제하는 인과적 인과 그래프(요약: f-DAGs)를 사용하는 확장 가능한 원리인 Differentiable Causal Discovery of Factor Graphs(DCD-FG)를 소개한다. DCD-FG는 저랭크, 비선형 구조 방정정식을 갖는 인과적 인과 그래프를 사용하여 수천 개의 변수에서 효율적인 인과적 구조 학습을 가능하게 한다. 미분 가능 최적화와 인과적 상호작용의 저랭크 제약 조건을 결합함으로써, DCD-FG는 수천 개의 변수에서의 인과적 구조 학습을 가능하게 하며, 시뮬레이션과 수천 개의 간섭이 있는 단일세포 RNA-seq 데이터에서 최신 기술보다 뛰어난 성능을 보인다.

ABSTRACT

A common theme in causal inference is learning causal relationships between observed variables, also known as causal discovery. This is usually a daunting task, given the large number of candidate causal graphs and the combinatorial nature of the search space. Perhaps for this reason, most research has so far focused on relatively small causal graphs, with up to hundreds of nodes. However, recent advances in fields like biology enable generating experimental data sets with thousands of interventions followed by rich profiling of thousands of variables, raising the opportunity and urgent need for large causal graph models. Here, we introduce the notion of factor directed acyclic graphs (f-DAGs) as a way to restrict the search space to non-linear low-rank causal interaction models. Combining this novel structural assumption with recent advances that bridge the gap between causal discovery and continuous optimization, we achieve causal discovery on thousands of variables. Additionally, as a model for the impact of statistical noise on this estimation procedure, we study a model of edge perturbations of the f-DAG skeleton based on random graphs and quantify the effect of such perturbations on the f-DAG rank. This theoretical analysis suggests that the set of candidate f-DAGs is much smaller than the whole DAG space and thus may be more suitable as a search space in the high-dimensional regime where the underlying skeleton is hard to assess. We propose Differentiable Causal Discovery of Factor Graphs (DCD-FG), a scalable implementation of -DAG constrained causal discovery for high-dimensional interventional data. DCD-FG uses a Gaussian non-linear low-rank structural equation model and shows significant improvements compared to state-of-the-art methods in both simulations as well as a recent large-scale single-cell RNA sequencing data set with hundreds of genetic interventions.

연구 동기 및 목표

• 수천 개의 변수를 포함하는 고차원 설정에서 인과적 발견의 계산 불가능성을 해결한다.
• 사이클 제약 조건의 삼차 복잡도로 인해 약 100개 노드를 초과할 경우 성능이 급격히 떨어지는 기존 방법의 한계를 극복한다.
• 저랭크 구조적 가정을 활용하여 검색 공간 복잡도를 감소시키는 확장 가능하고, 미분 가능한 인과적 발견 프레임워크를 개발한다.
• 특히 고속도 생물학적 응용 분야에서 대규모 간섭 데이터로부터 정확한 인과적 구조 학습을 가능하게 한다.
• 요인 그래프를 사용하는 것이 고차원 설정에서 계산 가능하고 생물학적으로 타당한 검색 공간으로서의 타당성에 대한 이론적 및 실증적 근거를 제공한다.

제안 방법

• 인과적 상호작용이 소수의 잠재 요인(m ≪ d)을 통해 매개되는 저랭크 구조 제약 조건으로서 요인 방향성 비순환 그래프(f-DAGs)를 제안한다.
• 요인 기반 부모 및 자식 관계를 사용하여 저랭크 비선형 구조 방정정식 모델을 기반으로 공동 분포를 모델링한다.
• 연속적 근사화를 통한 비순환성의 연속적 근사화를 사용하여 f-DAG 제약 조건을 미분 가능한 최적화 프레임워크에 통합함으로써 엔드 투 엔드 학습을 가능하게 한다.
• O(md) 복잡도의 미분 가능한 페널티를 사용하여 비순환성 제약 조건을 구현함으로써 O(d³) 방법 대비 계산 비용을 크게 감소시킨다.
• 최적화 중 비순환성 제약 조건을 강제하기 위해 보완적 라그랑주 방법을 적용하여 대규모 그래프에서의 확장 가능한 학습을 가능하게 한다.
• 신경망을 사용하여 유연한 비선형 모델링을 수행하며, Leaky ReLU 활성화 함수와 Xavier 초기화를 사용하여 유전자-요인 및 요인-유전자 관계를 모델링한다.

실험 결과

연구 질문

• RQ1 저랭크 구조적 가정(f-DAGs)이 고차원 설정에서 가능한 인과 그래프의 검색 공간을 크게 줄이면서도 표현력을 유지할 수 있는가?
• RQ2 대규모 간섭 데이터에서 최신 기술 대비 DCD-FG의 미분 가능한 최적화 프레임워크가 인과적 구조 정확도 측면에서 어떻게 성능을 내는가?
• RQ3 DCD-FG는 정규 분포 외의 잡음(예: 균일 분포 잡음) 또는 관측 데이터와 같은 모델 오류에 대해 얼마나 강건한가?
• RQ4 실제 적용에서 랭크 초모수(m)의 선택이 DCD-FG의 성능 및 일반화 능력에 어떤 영향을 미치는가?
• RQ5 f-DAGs는 단일세포 RNA-seq 데이터의 유전자 조절 네트워크와 같은 실제 생물학적 시스템을 효과적으로 모델링할 수 있는가?

주요 결과

• DCD-FG는 최대 1000개의 변수를 가진 시뮬레이션 데이터에서 F1 점수와 인과적 정확도 측면에서 NOTEARS, NOTEARS-LR, NOBEARS를 크게 능가하는 최신 기술 수준의 성능을 달성한다.
• 300개의 유전자 간섭과 약 1000개의 유전자를 포함하는 대규모 단일세포 RNA-seq 데이터셋에서, DCD-FG는 m=20개의 잠재 요인과 196,303개의 간선을 가진 인과 그래프를 성공적으로 추론하여 실제 생물학적 데이터에 대한 확장 가능성을 입증한다.
• 모델 오류에 대해 강건한 성능을 보이며, 균일 잡음 조건에서도 성능 저하가 미미하고, 방법 간 상대 순위는 유지된다.
• 간섭 데이터 없이도 관측 데이터에서 높은 성능를 유지하나, 정확도는 감소함을 확인하여 간섭 및 관측 모두의 환경에서의 유용성을 입증한다.
• 검증 가능도와 후속 성능 간 강한 상관관계가 관찰되어, 랭크 m 포함 초모수 선택을 위한 검증 가능도 기반 접근법의 타당성을 뒷받침한다.
• 이론적 분석을 통해 f-DAG 후보 집합은 전체 DAG 공간보다 훨씬 작으며, 특히 간선 변화에 대해서도 그러한 경향이 뚜렷하여 고차원 설정에서 f-DAGs를 계산 가능한 검색 공간으로 사용할 수 있음을 지지한다.