[논문 리뷰] A general theory to estimate Information transfer in nonlinear systems

Carlos Pires, David Docquier외 1명|arXiv (Cornell University)|2023. 07. 20.

Statistical Mechanics and Entropy인용 수 4

한 줄 요약

이 논문은 조건부 기대값과 비선형 회귀를 사용하여 비선형 스토케스틱 시스템에서의 정보 전이를 추정하는 일반 이론을 제시한다. 이는 시스템의 확률 밀도에 대한 전면적 지식이 없이도 강건하고 데이터 기반의 샤논 엔트로피 전이율(RETs)을 계산할 수 있도록 한다. 이 방법은 전체 지식이 없는 상태에서도 계산 비용이 낮고, 자료 요구량이 적으며, 모델 방정식이 존재하지 않을 경우에도 적용 가능하여 브루트 포스 적분보다 뛰어난 성능을 발휘한다.

ABSTRACT

A general theory for computing information transfers in nonlinear stochastic systems driven by deterministic forcing and additive and/or multiplicative noises, is presented. It extends the Liang-Kleeman framework of causality inference to nonlinear cases based on information transfer across system variables (Liang, 2016). We present an effective method of computing formulas of the rates of Shannon entropy transfer (RETs) between selected causal and consequential variables, relying on the estimation from data of conditional expectations of the system forcing and their derivatives. Those expectations are approximated by nonlinear differentiable regressions, leading to a much easier and more robust way of computing RETs than the brute-force approach calling for numerical integrals over the state-space and the knowledge of the multivariate probability density of the system. The approach is fully adapted to the case where no model equations are available, starting with a nonlinear model fitting from data of the consequential variables, and the subsequent application of method to the fitted model. RETs are decomposed into sums of single one-to-one RETs plus synergetic terms (of pure nonlinear nature) accounting for the joint causal effect of groups of variables. State-dependent RET formulas are also introduced, showing where in state-space the entropy transfers and local synergies are more relevant. A comparison of the RETs estimations is performed with previous methods in the context of two models: (i) a model derived from a potential function and (ii) the classical chaotic Lorenz system, both forced by additive and/or multiplicative noises. The analysis demonstrates that the new estimations are robust, cheaper, and less data-demanding, providing evidence of the possibilities and generalizations offered by the method and opening new perspectives on real-world applications.

연구 동기 및 목표

• 비선형 스토케스틱 시스템에 대해 결정론적 외력과 가감성/곱셉성 노이즈를 고려한 정보 전이 추정을 위한 일반적 프레임워크를 개발하는 것.
• 다변량 확률 밀도에 대한 명시적 지식이 필요 없이도 엔트로피 전이율(RETs)을 계산할 수 있도록 리앙-클리먼 인과성 프레임워크를 비선형 시스템으로 확장하는 것.
• 모델 방정식이 사전에 제공되지 않은 관측 자료만 존재할 경우에도 실용적이고 데이터 기반의 RET 추정 방법을 제공하는 것.
• RETs를 일대일 전이와 비선형 상호작용에 기인한 고차원 상호작용 항으로 분해하여 변수 집단의 공동 인과 효과를 포착하는 것.
• 상태공간 내에서 엔트로피 전이와 상호작용이 가장 두드러지는 위치를 식별할 수 있는 상태에 의존적인 RET 공식을 제안하는 것.

제안 방법

• 비선형 가분성 회귀를 사용하여 데이터로부터 시스템 외력과 그 도함수의 조건부 기대값을 추정한다.
• 이러한 추정된 조건부 기대값을 활용하여 인과 변수와 결과 변수 간의 샤논 엔트로피 전이율(RETs)을 계산한다.
• 비선형 상호작용에 기인한 총 RETs를 개별 일대일 전이 성분과 고차원 상호작용 항으로 분해한다.
• 상태공간 내에서 정보 전이가 가장 두드러지는 영역을 식별할 수 있도록 상태에 의존적인 RET 표현식을 구성한다.
• 데이터 피팅 모델과 알려진 모델(예: 포텐셜 구동 모델 및 로렌츠 시스템)에 이 방법을 적용하여 강건성과 효율성을 검증한다.
• 상태공간 전역에 대한 브루트 포스 수치 적분을 피하기 위해 이를 회귀 기반 추정으로 대체함으로써 계산 비용과 자료 요구량을 감소시킨다.

실험 결과

연구 질문

• RQ1 전체 연합 확률 밀도에 대한 지식이 없이도 비선형 스토케스틱 시스템에서 정보 전이율(RETs)을 신뢰성 있게 추정할 수 있는가?
• RQ2 데이터 기반의 회귀 기반 방법이 비선형 시스템에서 RETs를 추정할 때 기존의 수치 적분 방법보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ3 인과 변수 집단의 상호작용 기여가 비선형 시스템에서 총 정보 전이에 어떻게 영향을 미치는가?
• RQ4 상태공간의 어느 영역에서 엔트로피 전이와 비선형 상호작용이 가장 두드러지는가? 이는 정량화할 수 있는가?
• RQ5 기존 방법에 비해 제안된 방법이 자료 요구량과 계산 요구량을 얼마나 줄이는가?

주요 결과

• 제안된 방법은 전체 확률 밀도 추정이 필요 없이 데이타 기반의 회귀만으로도 비선형 시스템에서 정보 전이율(RETs)을 정확하게 추정할 수 있도록 한다.
• 이 방법은 상태공간 전역에 대한 브루트 포스 수치 적분보다 자료 요구량이 현저히 적고 계산 비용이 훨씬 낮다.
• RETs는 일대일 전이 성분과 비선형 상호작용 항으로 성공적으로 분해되어 공동 인과 효과가 드러난다.
• 상태에 의존적인 RET 공식은 정보 전이와 국소적 상호작용이 가장 중요한 특정 상태공간 영역을 식별한다.
• 포텐셜 구동 모델과 혼돈적인 로렌츠 시스템에 대한 검증을 통해 새로운 추정의 강건성과 정확성이 확인된다.
• 해석적 모델 방정식이 존재하지 않을 경우에도 이 방법은 데이터 피팅 모델에만 기반하여 완전히 적용 가능하다.