[논문 리뷰] Causal models for dynamical systems

Jonas Peters, Sebastian Bauer외 1명|arXiv (Cornell University)|2020. 01. 17.

Quantum Mechanics and Applications인용 수 5

한 줄 요약

이 논문은 미분방정식을 사용하여 연속시간 동역학 시스템으로 구조적 인과모델을 확장하며, 측정 노이즈가 있는 모델과 주입 노이즈가 있는 모델의 두 유형의 인과적 운동 모델을 제안한다. 이는 미분방정식에 직접적으로 간섭을 적용할 수 있게 하여 시간에 따라 변화하는 시스템에서 불변성 원리를 통한 인과 추론을 가능하게 하며, 구조 학습과 다양한 실험 조건 간의 일반화에 적용된다.

ABSTRACT

A probabilistic model describes a system in its observational state. In many situations, however, we are interested in the system's response under interventions. The class of structural causal models provides a language that allows us to model the behaviour under interventions. It can been taken as a starting point to answer a plethora of causal questions, including the identification of causal effects or causal structure learning. In this chapter, we provide a natural and straight-forward extension of this concept to dynamical systems, focusing on continuous time models. In particular, we introduce two types of causal kinetic models that differ in how the randomness enters into the model: it may either be considered as observational noise or as systematic driving noise. In both cases, we define interventions and therefore provide a possible starting point for causal inference. In this sense, the book chapter provides more questions than answers. The focus of the proposed causal kinetic models lies on the dynamics themselves rather than corresponding stationary distributions, for example. We believe that this is beneficial when the aim is to model the full time evolution of the system and data are measured at different time points. Under this focus, it is natural to consider interventions in the differential equations themselves.

연구 동기 및 목표

• 미분방정식으로 제어되는 연속시간 동역학 시스템으로 구조적 인과모델(SCM)을 확장하는 것.
• 시간에 따라 변화하는 시스템에서 자료가 여러 시점에 수집될 때 간섭을 모델링하는 데 도전하는 문제를 다루는 것.
• 간섭에 대해 모듈성과 불변성을 유지하는 인과적 운동 모델을 개발하여 다양한 실험 조건 간의 일반화를 가능하게 하는 것.
• 정적 분포가 아닌 역학적 동역학에 중점을 두어 동역학 시스템에서의 인과 추론을 위한 공식적 프레임워크를 제공하는 것.
• 독립적 동일분포(i.i.d.) 인과 추론에서 중심적인 역할을 하는 불변성 원리가 시간에 의존하는 과정으로 어떻게 적응될 수 있는지 탐색하는 것.

제안 방법

• 측정 노이즈가 있는 모델(노이즈가 있는 관측이 있는 결정론적 ODE)과 주입 노이즈가 있는 모델(스토크레스 미분방정식)의 두 가지 변종을 제안한다.
• 간섭을 미분방정식에 직접 수정하는 것으로 정의하며, 예를 들어 변수의 도함수를 새로운 함수로 설정함으로써 SCM의 모듈성 구조를 유지한다.
• 펄의 $do$-간섭 형식을 사용하여 연속시간에서의 간섭 분포를 정의함으로써 인과 의미론과의 일관성을 확보한다.
• 시간 시리즈 자료에서 동일한 구조 방정식이 다양한 실험 조건에서 유지되는 불변성 원리를 적용하여 인과 예측 변수를 식별한다.
• 예측 가능성과 여러 실험 환경에서의 불변성 간의 트레이드오프를 고려하여 강건한 인과적 구조를 식별하기 위한 모델 순위 매기기 절차를 활용한다.
• 간섭이 미분방정식의 구조에 영향을 주면 전체 시간 궤적에 영향을 미치므로, 비교적 약한 간섭으로도 풍부한 정보를 확보할 수 있음을 활용한다.

실험 결과

연구 질문

• RQ1 구조적 인과모델은 어떻게 미분방정식으로 제어되는 연속시간 동역학 시스템으로 확장될 수 있는가?
• RQ2 일반 미분방정식으로 기술되는 시스템에서 간섭의 적절한 형식화는 무엇인가?
• RQ3 다양한 실험 조건 간의 불변성을 어떻게 활용하여 시간에 따라 변화하는 시스템에서 인과 예측 변수를 식별할 수 있는가?
• RQ4 미분방정식의 모듈성 구조가 인과 발견과 일반화에 미치는 영향은 무엇인가?
• RQ5 역학 시스템의 특성—예를 들어 궤적 수준의 영향—은 i.i.d. 설정과 비교할 때 인과 추론의 가정과 과제를 어떻게 변화시키는가?

주요 결과

• 측정 노이즈 또는 주입 노이즈가 있는 인과적 운동 모델은 시스템의 시간 진화를 지배하는 미분방정식에 직접적으로 간섭을 모델링할 수 있는 원칙적인 프레임워크를 제공한다.
• 미분방정식의 구조에 대한 간섭은 전체 시간 궤적에 영향을 미치므로, 약한 간섭이라도 인과적 구조 발견에 매우 유용한 정보를 제공한다.
• 다양한 실험 조건—예를 들어 다양한 간섭 설정—에서 동일한 구조 방정식이 유지되는 불변성은 변수의 올바른 인과 예측 변수를 식별하는 데 사용될 수 있다.
• 예측 가능성과 불변성의 균형을 고려한 구조 학습 방법은 표준 i.i.d. 방법보다 새로운 실험 설정에 더 잘 일반화된다.
• 미분방정식 시스템의 모듈성 덕분에 간섭은 특정 구성 요소에만 영향을 미치며, 이는 인과 모델에서의 핵심 원리인 모듈성의 유지에 기여한다.
• 이 프레임워크는 여러 시점에 자료가 수집되고 다양한 실험 조건에서 시행되는 시스템—예를 들어 대사 네트워크 실험—에서의 인과 발견을 가능하게 한다.