[논문 리뷰] Causal structure learning from time series: Large regression coefficients may predict causal links better in practice than small p-values

Sebastian Weichwald, Martin Emil Jakobsen외 4명|arXiv (Cornell University)|2020. 02. 21.

Bayesian Modeling and Causal Inference참고 문헌 20인용 수 8

한 줄 요약

이 논문은 시간 시리즈에서 인과적 구조 학습을 위한 단순하면서도 효과적인 접근법을 제시한다. 기존의 p-값 기반 방법과는 달리, 간 가장자리 점수 평가에 p-값 대신 원본 회귀 계수를 사용함으로써 기존 방법을 능가한다. 이 방법은 비선형 시스템에 선형 모델을 적용하고, 자연스러운 척도를 유지할 경우 큰 회귀 계수가 작은 p-값보다 인과적 연결을 더 신뢰성 있게 예측할 수 있음을 보여준다. 이는 인과 발견에서 일반적으로 쓰이는 정규화 기법에 도전하는 내용이다.

ABSTRACT

In this article, we describe the algorithms for causal structure learning from time series data that won the Causality 4 Climate competition at the Conference on Neural Information Processing Systems 2019 (NeurIPS). We examine how our combination of established ideas achieves competitive performance on semi-realistic and realistic time series data exhibiting common challenges in real-world Earth sciences data. In particular, we discuss a) a rationale for leveraging linear methods to identify causal links in non-linear systems, b) a simulation-backed explanation as to why large regression coefficients may predict causal links better in practice than small p-values and thus why normalising the data may sometimes hinder causal structure learning. For benchmark usage, we detail the algorithms here and provide implementations at https://github.com/sweichwald/tidybench . We propose the presented competition-proven methods for baseline benchmark comparisons to guide the development of novel algorithms for structure learning from time series.

연구 동기 및 목표

• 실제 기후 데이터와 반현실적인 기후 데이터에서 잘 작동하는, 강건하고 계산 효율성이 높은 시간 시리즈 데이터에서의 인과적 구조 학습 방법을 개발하기.
• 기존의 p-값 기반 추론이 실질적인 인과 발견 과제에서 원본 회귀 계수보다 성능이 열 劣할 수 있는 이유를 조사하기.
• 특히 의미 있는 천연 척도를 가진 시스템에서 데이터 정규화가 항상 유리하다는 가정을 도전하기.
• 향후 시간 시리즈 인과 발견 분야의 연구를 위한 실용적이고 해석 가능하며 경쟁력 있는 기준 방법 제공하기.

제안 방법

• 벡터 자기회귀 모델을 사용하여 시간 시리즈 변수 간의 회귀 계수를 추정한다.
• 간 가장자리 점수는 p-값이나 t-통계량 대신 원본 회귀 계수의 절대값(|b̂i→j|)을 사용한다.
• 자연스러운 척도 정보를 유지하기 위해 데이터 표준화를 피한다. 이는 인과 방향에 대한 정보가 될 수 있다.
• 다양한 변동성의 변동성에 따라 인과적 연결 예측 성능을 비교하기 위해 시뮬레이션 연구를 수행한다.
• Causality 4 Climate 경쟁 데이터셋에서 방법을 검증하고, CauseMe.net 벤치마크 플랫폼에 통합한다.
• github.com/sweichwald/tidybench에서 사용 가능한 경량이고 오픈소스 패키지로 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 왜 실제 시간 시리즈 데이터에서 큰 회귀 계수가 작은 p-값보다 인과적 연결을 더 효과적으로 예측하는가?
• RQ2 어떤 상황에서 데이터 정규화가 인과 발견 방법의 성능을 떨어뜨리는가?
• RQ3 지구 과학에서 흔한 비선형 동역학 시스템에서 선형 모델이 인과적 구조를 효과적으로 식별할 수 있는가?
• RQ4 시간 시리즈 변수의 천연 척도가 회귀 계수가 인과 지표로서 신뢰성에 어떻게 影향을 미치는가?
• RQ5 모수적 분산과 잔차 분산이 계수 기반과 p-값 기반 가장자리 점수 평가의 상대적 성능에 어느 정도 영향을 미치는가?

주요 결과

• 자연스러운 척도를 유지할 경우, 특히 자연스럽게 증가하는 변동성의 경우, 원본 회귀 계수(|b̂i→j|)가 p-값과 t-통계량보다 인과적 연결 예측에 뛰어나다.
• 오차 분산이 동일한 조건에서의 시뮬레이션에서, t-통계량이 초기 순서 변수에서 수축하기 때문에, 회귀 계수 기반 방법이 ROC 곡선 아래 면적(AUC)에서 더 높은 성능을 보인다.
• 모수적 분산을 인위적으로 동일하게 만들 경우, 회귀 계수와 t-통계량의 성능이 유사해지며, 이는 분산 스케일링이 성능 차이의 핵심 원인임을 확인한다.
• 모수적 분산이 감소하는 상황에서는 t-통계량이 회귀 계수보다 성능이 뛰어나며, 이는 상대적 성능이 데이터의 분산 구조에 따라 크게 달라짐을 보여준다.
• 변수들이 의미 있는 천연 척도를 가진 경우, 정규화가 인과 발견에서 오히려 해로울 수 있으며, 이는 인과 순서와 관련된 분산 정보를 제거하기 때문이다.
• 제안된 방법은 NeurIPS 2019 Causality 4 Climate 경쟁의 모든 34개 과제에서 경쟁적인 성능을 보였고, CauseMe.net 벤치마크 플랫폼에서 하이브리드 및 현실적인 데이터 카테고리에서 선두를 기록했다.