[논문 리뷰] CUTS: Neural Causal Discovery from Irregular Time-Series Data

Yuxiao Cheng, Runzhao Yang외 5명|arXiv (Cornell University)|2023. 02. 15.

Bayesian Modeling and Causal Inference인용 수 9

한 줄 요약

CUTS는 불규칙 시계열 데이터를 공동으로 보정하고 반복적 이단계 프레임워크를 통해 Granger 인과 그래프를 발견하며, 데이터 보완(Dataset) 및 희소 비선형 Granger 인과 그래프 적합에서 DSGNN을 사용하여 VAR, Lorenz-96, NetSim 데이터셋에서 baselines보다 우수한 성능을 달성합니다.

ABSTRACT

Causal discovery from time-series data has been a central task in machine learning. Recently, Granger causality inference is gaining momentum due to its good explainability and high compatibility with emerging deep neural networks. However, most existing methods assume structured input data and degenerate greatly when encountering data with randomly missing entries or non-uniform sampling frequencies, which hampers their applications in real scenarios. To address this issue, here we present CUTS, a neural Granger causal discovery algorithm to jointly impute unobserved data points and build causal graphs, via plugging in two mutually boosting modules in an iterative framework: (i) Latent data prediction stage: designs a Delayed Supervision Graph Neural Network (DSGNN) to hallucinate and register unstructured data which might be of high dimension and with complex distribution; (ii) Causal graph fitting stage: builds a causal adjacency matrix with imputed data under sparse penalty. Experiments show that CUTS effectively infers causal graphs from unstructured time-series data, with significantly superior performance to existing methods. Our approach constitutes a promising step towards applying causal discovery to real applications with non-ideal observations.

연구 동기 및 목표

• 불완전성 및 비균일 샘플링으로 기존 방법의 한계를 보이는 불규칙 시계열 데이터에서 인과 관계 발견 동기를 제시한다.
• 누락된 데이터를 공동으로 보정하고 인과 그래프를 추론하는 반복 프레임워크를 제안해 두 작업을 동시에 향상시킨다.
• 늦은 감독 그래프 신경망(DSGNN)을 개발해 불규칙 데이터를 보정한다.
• 시간 지연 간의 인과 관계를 모델링하고 정규화하기 위해 인과 확률 그래프(CPGs)를 도입한다.
• 합리적 가정하에서 수렴 특성을 보이고 다양한 데이터셋에서 강건성을 입증한다.

제안 방법

• CUTS를 도입하고 잠재 데이터 예측(DSGNN이 과거 데이터와 발견된 CPGs를 사용해 누락 값을 보정)과 인과 그래프 발견(학습된 스파스 간선 확률 m_{tau,ij}를 시그모이드 파라미터 모델로 구함)을 교대하게 한다.
• DSGNN은 X를 사용하고 CPGs에서 샘플링된 S로 마스킹된 입력을 통해 x_hat_{t,i}를 보정하고, 지연된 감독 메커니즘으로 보정 값을 업데이트한다.
• Causal graph 단계는 L_graph = L_pred + lambda ||sigma(theta)||_1 를 최소화해 인과 확률 행렬 M_tau의 희소성을 촉진한다.
• 발견된 인과 그래프 tilde{A}는 지연의 최대값으로 정의된 max_tau m_{tau,ij}를 취하는 방식으로 Granger 인과 영향력을 반영한다.
• 수렴과 강건성을 보장하기 위해 학습 에포크를 두 단계로 나누는 학습 전략(보정 없음, 예측 없이 보정, 감독 학습 미세조정)으로 구성된 단계적 학습 전략

실험 결과

연구 질문

• RQ1 데이터가 간헐적으로 누락되거나 비균일하게 샘플링될 때 불규칙 시계열 데이터에서 인과 그래프를 신뢰성 있게 추론할 수 있는가?
• RQ2 연속 보정 후 인과 발견 대신 누락 데이터를 공동으로 보정하고 인과 그래프를 학습하는 반복 프레임워크가 순차적 보정 이후 인과 발견보다 성능이 우수한가?
• RQ3 제안된 CUTS 프레임워크가 실제 Granger 인과 구조로 수렴하는 조건은 무엇인가?
• RQ4 무작위 및 주기적 누락이 있는 합성(VAR, Lorenz-96) 및 실세계 유사(NetSim) 데이터셋에서 CUTS의 성능은 어떠한가?

주요 결과

• CUTS는 Random Missing(p up to 0.6) 및 Periodic Missing(T_max up to 4) 설정에서 VAR 및 Lorenz-96 데이터셋에 대해 AUROC가 우수하게 향상되며(예: Lorenz-96 Random Missing: CUTS 0.9996 ± 0.0005 vs 경쟁자 ~0.98–0.99; Lorenz-96 Periodic Missing: CUTS 0.9705 ± 0.0118 vs 경쟁자 ~0.66–0.92).
• VAR 데이터에서 CUTS는 AUROC 값이 최대 0.9992 ± 0.0016(Periodic Missing, T_max=2) 및 0.9959 ± 0.0042(Periodic Missing, T_max=4)로 PCMCI, NGC, eSRU 기반선 대비 다양한 보정과 함께 우수한 성능을 달성한다.
• NetSim 뇌 데이터셋에서 CUTS는 Random Missing에서 AUROC 0.7948 ± 0.0381, Random Missing(NetSim, p=0.2)에서 0.7699 ± 0.0550를 달성하였고, 기반선 방법은 대략 0.58–0.76 범위였다.
• ablations 연구는 데이터 보정과 인과 발견 단계가 성능에 기여함을 보여주며, 어느 한 쪽을 제거하거나 외부 보정 기반선을 사용하는 경우 AUROC가 떨어진다.
• 미세조정 단계는 성능을 추가로 향상시키며, No Finetuning의 경우 모든 실험에서 AUROC가 측정 가능한 하락을 보인다.
• 다양한 데이터셋에서 CUTS는 데이터 보정이 필요하지 않은 LCCM 및 NGM보다 일관되게 우수하며, 구성 요소별 모듈로 구성된 신경망 Granger 인과 기준선 대비 우수하다.