[논문 리뷰] Fluctuation-response theorem for Kullback-Leibler divergences to quantify causation

Andrea Auconi, Benjamin M. Friedrich외 1명|arXiv (Cornell University)|2021. 01. 01.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 40인용 수 7

한 줄 요약

이 논문은 확률적 시스템에서의 인과관계를 측정하기 위해 '정보 반응'이라는 새로운 인과 측정법을 제안한다—이는 한 변수의 변동이 다른 변수의 예측 분포에 미치는 영향을 쿨백-라이블러 발산의 비율로 정량화한 것이다. 이 측정법은 정보 이론적 측정법과 피셔 정보 간의 연관성을 밝혀내는 변동-반응 정리와 연결되며, 선형 시스템에서는 전이 엔트로피로 복원되며 물리적 편미분 반응과 정보 이론적 인вар리언스를 통합한다.

ABSTRACT

We define a new measure of causation from a fluctuation-response theorem for Kullback-Leibler divergences, based on the information-theoretic cost of perturbations. This information response has both the invariance properties required for an information-theoretic measure and the physical interpretation of a propagation of perturbations. In linear systems, the information response reduces to the transfer entropy, providing a connection between Fisher and mutual information. Copyright (C) 2021 EPLA

연구 동기 및 목표

• 물리적 편미분 반응과 정보 이론적 인바리언스를 통합하는 인과 측정법을 개발하기 위해.
• 확률적 동역학 시스템에서 인과관계에 대한 광범위하게 수용된 정량적 정의의 부족을 해결하기 위해.
• 변동-반응 이론과 Kullback-Leibler 발산을 통한 정보 흐름 간의 연결을 위한 목적.
• 물리적으로 해석 가능하고 정보 이론적으로 인바리언트한 변수 간 인과적 영향의 측정법을 제공하기 위해.

제안 방법

• x0, y0를 조건으로 하는 yτ의 편향된 조건부 분포와 원래 조건부 분포 사이의 KL 발산을 국소 반응 발산으로 정의한다.
• 자연 상태와 편향된 상태의 x0, y0의 공동 분포 사이의 KL 발산을 편향 발산으로 정의하여 편향의 정보 비용을 측정한다.
• 작은 ϵ의 한계에서 평균 국소 반응 발산과 편향 발산의 비율로 정보 반응을 제안한다.
• 작은 ϵ 한계에서 정보 반응이 피셔 정보 항목의 비율과 같음을 보여주는 변동-반응 정리를 유도한다.
• 선형 시스템에서 정보 반응은 정확히 전이 엔트로피로 줄어들며, 피셔 정보와 상호정보량을 연결한다.
• 직접 간섭 없이도 평형 상태의 변동 상관관계를 사용하여 측정법을 순수 관측 형태로 재구성한다.

실험 결과

연구 질문

• RQ1 물리적 편미분 반응과 정보 이론적 인바리언스를 통합할 수 있는 인과 측정법은 어떻게 설계할 수 있는가?
• RQ2 확률적 시스템에서 변동-반응 이론과 정보 흐름 간의 관계는 무엇인가?
• RQ3 KL 발산에 기반한 반응 측정법이 물리적 및 정보 이론적 인과 관점의 통합을 가능하게 하는가?
• RQ4 선형 시스템에서 새로운 측정법은 전이 엔트로피와 어떻게 관련이 있는가?
• RQ5 직접 간섭 없이도 평형 상태의 변동 상관관계를 사용하여 정보 반응을 표현할 수 있는가?

주요 결과

• 정보 반응 Γx→yτ는 ϵ→0일 때 평균 국소 반응 발산과 편향 발산의 비율의 극한으로 정의된다.
• 작은 ϵ 한계에서 정보 반응은 피셔 정보 항목의 비율과 같으며, 새로운 변동-반응 정리를 확립한다.
• 선형 시스템에서는 정보 반응이 정확히 전이 엔트로피로 줄어들며, 피셔 정보와 상호정보량을 연결한다.
• 정보 반응은 가역적 변환에 대해 불변이며, 단위 정보 비용당 반응으로서 명확한 물리적 해석을 가진다.
• 측정법은 직접 간섭 없이도 평형 상태의 변동 상관관계를 사용하여 순수 관측 형태로 재구성될 수 있으며, 관측 데이터에 적용 가능하다.
• 정보 반응은 τ < 0일 때 0이 되며, 이는 시간의 인과적 방향을 강제로 규정한다.