[논문 리뷰] Data Generating Process to Evaluate Causal Discovery Techniques for Time Series Data

Andrew R. Lawrence, Marcus Kaiser외 2명|arXiv (Cornell University)|2021. 04. 16.

Bayesian Modeling and Causal Inference참고 문헌 37인용 수 8

한 줄 요약

이 논문은 원인관계가 명확히 알려진 인과적 구조를 가진 합성 시계열 데이터를 생성하기 위한 유연하고 오픈소스 프레임워크를 제안한다. 이는 인과 발견 방법을 평가하고 기준화하기 위한 것이다. 연구 결과, 주요 방법들이 가정 위반—특히 비선형성과 즉각적 영향—하에서 성능이 크게 떨어지며, 초모수 설정에 매우 민감한 것으로 드러났다. 이는 향후 연구에서 보다 강건하고 비선형적이며 초모수 의존도가 낮은 방법 개발이 필요하다는 것을 시사한다.

ABSTRACT

Going beyond correlations, the understanding and identification of causal relationships in observational time series, an important subfield of Causal Discovery, poses a major challenge. The lack of access to a well-defined ground truth for real-world data creates the need to rely on synthetic data for the evaluation of these methods. Existing benchmarks are limited in their scope, as they either are restricted to a "static" selection of data sets, or do not allow for a granular assessment of the methods' performance when commonly made assumptions are violated. We propose a flexible and simple to use framework for generating time series data, which is aimed at developing, evaluating, and benchmarking time series causal discovery methods. In particular, the framework can be used to fine tune novel methods on vast amounts of data, without "overfitting" them to a benchmark, but rather so they perform well in real-world use cases. Using our framework, we evaluate prominent time series causal discovery methods and demonstrate a notable degradation in performance when their assumptions are invalidated and their sensitivity to choice of hyperparameters. Finally, we propose future research directions and how our framework can support both researchers and practitioners.

연구 동기 및 목표

• 실제 데이터에는 기준이 없기 때문에, 시계열 인과 발견 방법을 평가하기 위한 표준화되고 확장 가능한 기준의 부재 문제를 해결하기 위해.
• 기존 기준들이 정적이고 범위가 좁거나, 가정 위반 상황에서의 방법의 강건성 테스트를 실패하기 때문에, 이러한 한계를 극복하기 위해.
• 연구자와 실무자가 도메인 특화 지식에 부합하는 합성 데이터를 생성하여 체계적인 방법 개발과 초모수 튜닝을 가능하게 하기 위해.
• 비선형 역학, 즉각적 영향, 비 stationary 성질을 포함한 통제된 현실적인 시나리오에서 최첨단 인과 발견 기법의 성능을 평가하기 위해.
• 초모수에 대한 과도한 의존성과 비선형 모델링의 제한성 등 핵심 연구 격차를 규명하고, 향후 방법론적 개발을 안내하기 위해.

제안 방법

• 구성 가능한 인과 그래프, 기능 형태, 노이즈 분포를 갖는 구조적 인과 모델(SCM)을 사용하여 시계열 데이터를 생성한다.
• 변수 간 선형 및 비선형 기능 관계를 지원하며, 덧셈형, 동일분산 노이즈를 포함하고 사용자가 정의한 파rameter화를 허용한다.
• 동시적(동시성) 영향, 지연된 의존성, 제도 전환 및 간섭과 같은 구조적 변화를 포함할 수 있다.
• 사용자가 정의한 변수 수, 시간 단계 수, 동적 그래프 구조를 갖는 다변량 시계열을 생성할 수 있다.
• 프레임워크는 오픈소스 코드로 구현되어 있으며, 특정 용도에 맞게 데이터 생성을 커스터마이징할 수 있도록 예제 스크립트를 제공한다.
• 모델 파rameter를 다양하게 조절하고 F1, SHD, 참/거짓 양성 비율 등의 메트릭을 측정하여 인과 발견 알고리즘의 체계적 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 선형성, 독립성, 즉각적 영향이 없는 가정 등 핵심 가정이 위반될 경우, 주요 시계열 인과 발견 방법의 성능은 어떻게 되는가?
• RQ2 특히 p-값 임계치와 정규화 파rameter 등 초모수 설정에 따라 인과 발견 방법의 성능이 얼마나 민감하게 영향을 받는가?
• RQ3 PCMCI, PCMCI+, 다변량 그랜저, DYNOTEARS와 같은 방법들은 즉각적 인과 영향이 존재할 경우 어떻게 대처하는가? 정밀도와 재현율 사이의 상충 관계는 어떠한가?
• RQ4 제안된 프레임워크는 다양한 데이터 생성 과정 하에서 방법의 강건성과 일반화 능력 차이를 효과적으로 구분할 수 있는가?
• RQ5 PCMCI와 DYNOTEARS와 같은 방법의 가장 효과적인 초모수 설정은 무엇이며, F1 및 구조적 해밍 거리(SHD)와 같은 성능 메트릭에 어떤 영향을 미치는가?

주요 결과

• 즉각적 영향이 도입될 경우 F1 점수가 급격히 하락하고 SHD가 증가하는 경향이 있으며, 특히 지연 0 의존성을 모델링할 수 없는 다변량 그랜저와 같은 방법에서 두드러진다.
• PCMCI+는 동시 연결을 명시적으로 모델링함으로써 PCMCI보다 즉각적 영향을 더 잘 다루며, 유사한 참 양성 비율을 유지하면서도 거짓 양성 비율을 감소시킨다.
• PCMCI의 최종 선택 단계에서의 p-값 임계치 설정이 성능에 결정적인 영향을 미치며, 최적 결과는 0.01일 때 도출된다. 반면 PC 알고리즘의 p-값 임계치는 영향이 미미하다.
• DYNOTEARS의 최적 성능은 중간 정도의 L1 펜alties(0.5–1.0)와 작은 w_threshold 설정에서 달성되며, 이는 흩어짐과 정확성 사이의 상충 관계를 보여준다.
• 기대한 바와 같이 선형 방법인 다변량 그랜저는 비선형 환경에서 성능이 열 劣하지만, 이 프레임워크는 가정 위반 상황에서의 실패 원리를 명확히 드러낸다.
• 이 프레임워크는 현재의 방법들이 비선형성과 즉각적 영향과 같은 현실적인 데이터 과제에 대해 초모수에 매우 민감하고 강건성이 떨어진다는 점을 성공적으로 드러냈다.