[논문 리뷰] On Data-Driven Computation of Information Transfer for Causal Inference in Dynamical Systems

Subhrajit Sinha, Umesh Vaidya|arXiv (Cornell University)|2018. 03. 22.

Model Reduction and Neural Networks참고 문헌 18인용 수 5

한 줄 요약

이 논문은 동역계에서의 정보 이동을 계산하기 위해 쿠퍼만 및 페론-프로베니우스 연산자를 사용하는 데이터 기반 방법을 제안한다. 이는 기존의 그란저 인과성과 같은 조건에서 실패하는 전통적 측정법이 실패할 때에도 정확한 인과 추론을 가능하게 한다. 이 방법은 노이즈가 있는 시계열 데이터로부터 전이 연산자를 근사하기 위해 강건한 자연스러운 구조적 동적 모드 분해(NSDMD) 알고리즘을 사용하며, 선형 및 비선형 시스템 모두에서 진정한 인과적 구조를 성공적으로 식별한다. 특히 기존 방법이 이방향 인과성을 잘못 추론하는 경우에도 효과적이다.

ABSTRACT

In this paper, we provide a novel approach to capture causal interaction in a dynamical system from time-series data. In \cite{sinha_IT_CDC2016}, we have shown that the existing measures of information transfer, namely directed information, granger causality and transfer entropy fail to capture true causal interaction in dynamical system and proposed a new definition of information transfer that captures true causal interaction. The main contribution of this paper is to show that the proposed definition of information transfer in \cite{sinha_IT_CDC2016}\cite{sinha_IT_ICC} can be computed from time-series data. We use transfer operator theoretic framework involving Perron-Frobenius and Koopman operators for the data-driven approximation of the system dynamics and for the computation of information transfer. Several examples involving linear and nonlinear system dynamics are presented to verify the efficiency of the developed algorithm.

연구 동기 및 목표

• 기존의 인과성 측정법—그란저 인과성, 유도 정보, 전이 엔트로피—이 간단한 선형 사례조차도 동역계의 인과적 구조를 정확히 식별하지 못하는 데 문제를 해결하기 위해.
• 시스템의 동역학을 '고정'시키는 개념을 활용해 진정한 인과적 상호작용을 캡처하는 새로운 정의된 정보 이동 측정법을 데이터 기반으로 계산할 수 있도록 하기 위해.
• 관측 데이터로부터의 간섭 추론 문제를 해결하기 위해, 노이즈에 강건한, 안정적인 알고리즘을 개발하여 쿠퍼만 및 페론-프로베니우스 연산자를 근사하기 위해.
• 선형 및 비선형 동역계 시스템에 대해 제안된 방법을 검증하여, 기존의 인과성 측정법보다 더 뛰어난 정확도로 올바른 인과 방향을 식별할 수 있음을 입증하기 위해.

제안 방법

• 비선형 동역계를 관측량의 공간에서 선형적으로 표현하고 측정하기 위해 쿠퍼만 및 페론-프로베니우스 연산자를 기반으로 한 전이 연산자 프레임워크를 사용한다.
• 노이즈에 강건한 성능을 보장하기 위해 자연스러운 구조적 동적 모드 분해(NSDMD) 알고리즘의 강력한 구현을 사용하여 시계열 데이터로부터 쿠퍼만 및 P-F 연산자를 근사한다.
• 변수 x에서 y로의 정보 이동은 y(t+1), y(t)의 엔트로피와 x가 '고정된' 상태일 때, 즉 x의 동역학이 시스템에서 제거된 상태에서 y(t+1), y(t)의 엔트로피의 차이로 계산된다.
• 시스템을 직접 수정하지 않고도 간섭 유사 분석이 가능하도록, 데이터 기반으로 시스템 동역학을 재구성하여 고정 작동을 시뮬레이션한다.
• 쿠퍼만 연산자 근사를 위한 사전으로 가우시안 라디얼 기저 함수를 사용하며, 노이즈에 대한 내성을 확보하기 위해 파rameter를 조정한다.
• 정보 이동은 H(y(t+1), y(t)) − H¬x(y(t+1), y(t))로 계산되며, 두 번째 항은 x가 분리된 수정된 시스템에서 유도된다.

실험 결과

연구 질문

• RQ1 기존의 인과성 측정법이 실패할 때, 데이터 기반 방법이 동역계에서 정보 이동을 정확히 계산할 수 있는가?
• RQ2 직접적인 시스템 간섭 없이, 시계열 데이터로부터 '동역학을 고정하는' 개념을 어떻게 구현할 수 있는가?
• RQ3 표준 측정법이 잘못된 이방향 영향을 유추하는 비선형 시스템에서, 제안된 방법이 올바른 단방향 인과성을 식별할 수 있는가?
• RQ4 노이즈의 존재가 인과 추론 정확도에 어떤 영향을 미치며, 방법이 여전히 강건한가?
• RQ5 정보 이동 측정법이 선형 시스템에서 알려진 해석적 결과—예를 들어 제곱 영향 계수—를 회복하는가?

주요 결과

• 두 상태 비선형 시스템에서, 방법은 x에서 y로의 정보 이동이 0에 가까운 T_x→y = -0.03으로 정확히 식별했으며, y에서 x로의 정보 이동은 T_y→x = 1.63로 유의미하게 높았다. 반면, 그란저 인과성은 상호 영향을 잘못 유추했다.
• 헨온 맵에서, 방법은 T_x→y = 0.0982 및 T_y→x = -0.7246를 계산했으며, x에서 y로의 양의 전이가 선형 근사에서 이론적 값 b² = 0.09와 매우 가까웠다.
• 헨온 맵에서 y에서 x로의 음의 정보 전이는 혼합 르아플라스 지수를 반영하여 복잡한 동역학적 행동을 나타낸다.
• NSDMD 기반의 쿠퍼만 연산자 근사는 프로세스 노이즈 γ = 0.01에 대해 강건했으며, 1000단계의 시계열 데이터로부터 정확한 전이 계산이 가능했다.
• 선형 및 비선형 시스템 양쪽에서 방법은 올바른 인과적 구조를 성공적으로 복원했으며, 그란저 인과성과 전이 엔트로피는 단방향 인과성을 탐지하지 못하는 데 실패했다.
• 알고리즘이 직접 간섭이 불가능한 관측 데이터로부터도, 연산자 이론 기반 방법을 사용해 정보 이동을 신뢰성 있게 계산할 수 있음을 입증했다.