[논문 리뷰] Structure Learning for Cyclic Linear Causal Models

Carlos Améndola, Philipp Dettling외 3명|arXiv (Cornell University)|2020. 06. 10.

Bayesian Modeling and Causal Inference참고 문헌 30인용 수 4

한 줄 요약

이 논문은 단순한 혼합 그래프(노드 간 다중 간선 없음)를 사용하여 피드백 루프와 잠재 공액자( latent confounders)가 있는 선형 가우시안 인과 모델에 대한 점수 기반 구조 학습 방법을 제안한다. 순환적 의존성에도 불구하고 저자들은 이러한 모델이 기대 차원을 갖는다는 것을 증명하며, 유효한 모델 선택 점수를 가능하게 한다. 또한, 이전에 순환적이지 않은 그래프에만 유효했던 분포 동치성 기준을 순환적 그래프로 일반화하여 실제 단백질 발현 데이터에 대한 탐욕적 탐색을 검증하였으며, 생물학적으로 일관된 결과를 도출하였다.

ABSTRACT

We consider the problem of structure learning for linear causal models based on observational data. We treat models given by possibly cyclic mixed graphs, which allow for feedback loops and effects of latent confounders. Generalizing related work on bow-free acyclic graphs, we assume that the underlying graph is simple. This entails that any two observed variables can be related through at most one direct causal effect and that (confounding-induced) correlation between error terms in structural equations occurs only in absence of direct causal effects. We show that, despite new subtleties in the cyclic case, the considered simple cyclic models are of expected dimension and that a previously considered criterion for distributional equivalence of bow-free acyclic graphs has an analogue in the cyclic case. Our result on model dimension justifies in particular score-based methods for structure learning of linear Gaussian mixed graph models, which we implement via greedy search.

연구 동기 및 목표

• 피드백 루프와 잠재 공액자가 있는 선형 가우시안 인과 모델에서의 구조 학습 문제를 다루기 위해.
• 이러한 모델이 기대 차원을 갖는 조건를 설정하여 점수 기반 학습이 가능하도록 하기 위해.
• 기존에 순환적이지 않은 그래프에만 유효했던 분포 동치성 기준을 순환적인 단순 혼합 그래프로 일반화하기 위해.
• 순환적 선형 가우시안 모델에서의 구조 학습을 위한 탐욕적 탐색 알고리즘을 개발하고 평가하기 위해.
• 실제 생물학적 데이터에 대해 방법을 검증하여 알려진 조절 경로와의 일관성을 입증하기 위해.

제안 방법

• 모델은 유도된 간선(인과 효과)과 이중 간선(잠재 공액자로 인한 상관 오차)을 갖는 단순한 혼합 그래프로 표현된다.
• 구조 방정식 시스템은 $ X = \Lambda^T X + \varepsilon $ 로 정의되며, $ \varepsilon \sim \mathcal{N}(0, \Omega) $ 이고, $ \operatorname{Var}[X] = (I - \Lambda)^{-T} \Omega (I - \Lambda)^{-1} $ 이다.
• 데이터로부터 추정된 공분산 행렬을 기반으로 편향 보정된 BIC 유사 점수를 최대화하기 위해 탐욕적 탐색 알고리즘을 사용한다.
• 메서드는 켄달의 타우 공분산 행렬을 입력으로 사용하며, 차원을 $ \frac{p(p-1)}{2} $ 차원 공간으로 압축하여 차원을 감소시킨다.
• 과적합을 방지하기 위해 BIC의 펜alties를 증가시키며, 임의의 초기 그래프에서 반복적으로 탐색을 수행한다.
• 분포 동치성은 이전에 순환적이지 않은 그래프에만 유효했던 기준의 일반화된 버전을 사용하여 평가한다.

실험 결과

연구 질문

• RQ1 비정규성 문제에도 불구하고 순환적 단순 혼합 그래프가 여전히 기대 차원을 갖는가?
• RQ2 기존에 순환적이지 않은 그래프에만 유효했던 분포 동치성 기준과 유사한, 순환적 단순 혼합 그래프에 대한 실용적인 기준이 존재하는가?
• RQ3 점수 기반 구조 학습이 순환적 선형 가우시안 모델과 잠재 공액자에 효과적으로 적용될 수 있는가?
• RQ4 탐욕적 탐색 방법은 실제 데이터에서 알려진 생물학적 조절 관계를 얼마나 잘 복원하는가?
• RQ5 실제 데이터셋에서 순환 구조의 존재가 학습된 모델의 구조에 어떤 영향을 미치는가?

주요 결과

• 단순한 순환적 혼합 그래프는 기대 차원을 갖는 모델을 유도하며, 이는 점수 기반 방법의 구조 학습에 대한 타당성을 뒷받침한다.
• 이전에 순환적이지 않은 그래프에서만 알려진 분포 동치성 기준이 순환적 경우로 자연스럽게 일반화된다.
• 편향 보정된 켄달의 타우 공분산 행렬을 기반으로 한 탐욕적 탐색은 14개의 단백질 발현 데이터셋에서 알려진 생물학적 경로를 성공적으로 복원한다.
• 추정된 그래프는 10~13개의 간선를 포함하며, 14개의 그래프 중 4개가 순환 구조를 포함한다(3개는 3순환, 1개는 4순환).
• 모든 데이터셋에서 14개의 알려진 조절 관계 중 12개를 일관되게 복원한다(예: PLCG-PIP2-PIP3, PKC-P38-PJNK, P44/42-PKA-PAKTS473).
• 문헌에 이전에 보고되지 않은 세 가지 새로운 연결(PIP2→PKC, PLCG→PKC, PIP3→PAKTS473)이 여러 데이터셋에서 검출되었다.