[논문 리뷰] Stable Differentiable Causal Discovery

Achille Nazaret, Justin Hong외 2명|arXiv (Cornell University)|2023. 11. 17.

Bayesian Modeling and Causal Inference인용 수 4

한 줄 요약

이 논문은 스펙트럼 순환성 제약과 스퍼스리티 인식 학습 절차를 도입함으로써 수치적 안정성과 확장성을 향상시킨 이중 단계의 미분 가능 인과 발견 방법인 안정적 미분 가능 인과 발견(SDCD)을 제안한다. SDCD는 이전 방법들보다 빠른 수렴 속도와 높은 정확도를 달성하며, 관찰 및 간섭 데이터 모두에서 수천 개의 변수로 효과적으로 확장된다.

ABSTRACT

Inferring causal relationships as directed acyclic graphs (DAGs) is an important but challenging problem. Differentiable Causal Discovery (DCD) is a promising approach to this problem, framing the search as a continuous optimization. But existing DCD methods are numerically unstable, with poor performance beyond tens of variables. In this paper, we propose Stable Differentiable Causal Discovery (SDCD), a new method that improves previous DCD methods in two ways: (1) It employs an alternative constraint for acyclicity; this constraint is more stable, both theoretically and empirically, and fast to compute. (2) It uses a training procedure tailored for sparse causal graphs, which are common in real-world scenarios. We first derive SDCD and prove its stability and correctness. We then evaluate it with both observational and interventional data and on both small-scale and large-scale settings. We find that SDCD outperforms existing methods in both convergence speed and accuracy and can scale to thousands of variables. We provide code at https://github.com/azizilab/sdcd.

연구 동기 및 목표

• 수천 개의 변수를 초과하는 경우 기존의 미분 가능 인과 발견(DCD) 방법들이 가지는 수치적 불안정성과 낮은 확장성 문제를 해결하기 위해.
• 연속 최적화에서 더 안정적이고 계산 효율적인 순환성 제약을 개발하기 위해.
• 고차원 설정에서 스퍼스리티 학습을 향상시키고 진정한 인과 간선을 유지하는 데에 기여하는 이중 단계 최적화 프레임워크를 설계하기 위해.
• 소규모 및 대규모 문제에 걸쳐 관찰 및 간섭 데이터 세트에서 SDCD의 실증적 검증을 수행하기 위해.
• 최신 DCD 방법들과 비교해 SDCD가 더 뛰어난 수렴 속도, 정확도 및 확장성을 달성하는지 입증하기 위해.

제안 방법

• SDCD는 인접 행렬의 스펙트럼 반경에 기반한 스펙트럼 순환성 제약을 사용하며, 이는 이전의 페널티 기반 제약보다 이론적으로나 실험적으로 더 안정적이다.
• 이 방법은 이중 단계 최적화를 사용한다: 첫 번째로 순환성 제약을 강제하지 않고 약한 간선을 제거하는 정제 단계; 두 번째로 스펙트럼 제약을 적용한 DCD 단계로 순환성 제약을 강제한다.
• 첫 번째 단계는 비필수 간선을 억제하는 학습된 마스크를 사용하며, 이는 진정한 인과 관계를 유지하면서도 학습 안정성을 향상시킨다.
• 두 번째 단계는 첫 번째 단계에서 얻은 마스크와 간선 가중치로 초기화되어 수렴 속도를 빠르게 하고 일반화 성능을 향상시킨다.
• 이 프레임워크는 유전자 분석 및 시스템 생물학과 같은 실제 적용 사례에서 흔히 나타나는 희박한 인과 그래프에 특화되어 있다.
• 이론적 분석은 첫 번째 단계가 진정한 간선을 제거하지 않는다는 것을 증명하며, 실험 결과는 향상된 강인성과 정확도를 확인한다.

Figure 1 : Visual representation of the SDCD method.

실험 결과

연구 질문

• RQ1 미분 가능 인과 발견에서 수치적 안정성을 향상시키기 위해 새로운 순환성 제약을 설계할 수 있는가?
• RQ2 이중 단계 최적화 절차는 대규모 인과 발견에서 수렴 속도와 정확도를 향상시키는가?
• RQ3 SDCD는 관찰 및 간섭 데이터 모두에서 수천 개의 변수로 효과적으로 확장되며 높은 정확도를 유지할 수 있는가?
• RQ4 스펙트럼 순환성 제약은 기존의 페널티 기반 제약과 비교해 안정성과 계산 효율성 측면에서 어떻게 다른가?
• RQ5 이중 단계 설계는 확장 가능한 최적화를 가능하게 하면서도 진정한 인과 간선을 얼마나 잘 유지하는가?

주요 결과

• SDCD는 모든 테스트 설정에서 수렴 속도와 정확도 면에서 기존 DCD 방법들을 능가하며, 가장 낮은 구조적 해밍 거리(SHD)를 달성한다.
• d=40개 변수와 변수당 s=4개 간선을 가진 관찰 데이터에서 SDCD는 SHD 69.0을 기록하며, DCDI(87.0) 및 기타 기준 방법들보다 유의미하게 낮다.
• 40개 변수, 평균 간선 밀도 55%에서 SDCD는 SHD 222.3을 달성하며, GIES는 d≥30에서 실행에 실패한다.
• 제거 실험 결과는 두 번째 단계에서 마스크를 강제 적용하는 것이 핵심임을 확인한다: SDCD-warm-nomask는 SDCD보다 훨씬 열 劣하다. 이는 제약 강제 적용의 중요성을 시사한다.
• SDCD-warm(가중치 전이 포함)는 약간의 향상만을 보이며, 이는 이중 단계 설계가 추가적인 온전한 시작 조정 없이도 강인하다는 것을 의미한다.
• 5개의 랜덤 데이터 세트에 대한 박스플롯을 통해 SDCD는 간섭 빈도와 변수 수가 증가함에 따라 높은 정밀도와 재현율을 유지함을 보였다.

Figure 2 : Constraint behaviors in typical regimes. (left) as the weights’ scale $\varepsilon$ increases (right) as the number of variable $d$ increases. For uniform random weights in $[0,\epsilon]^{d\times d}$ (dashed) or a cycle of length $d/2$ with weight $\varepsilon$ (solid). Only the proposed