[논문 리뷰] Mutual information in changing environments: non-linear interactions, out-of-equilibrium systems, and continuously-varying diffusivities

Giorgio Nicoletti, Daniel Maria Busiello|arXiv (Cornell University)|2022. 04. 04.

Gene Regulatory Network Analysis참고 문헌 51인용 수 13

한 줄 요약

이 논문은 시간에 따라 변화하는 환경을 가진 비선형 시스템으로 상호정보량 분석을 일반화하여, 비선형 상호작용과 환경 변화 간의 상호작용으로 인해 발생하는 새로운 간섭항을 규명한다. 이 간섭항은 정보를 증가시키거나 감소시킬 수 있다. 비균형 조건이 상호정보량을 증가시키며, 연속적인 환경 변화는 효과적인 공간적으로 변화하는 확산계수로 매핑되며, 생물물리계에서 간접적인 공간적 결합을 드러낸다.

ABSTRACT

Biochemistry, ecology, and neuroscience are examples of prominent fields aiming at describing interacting systems that exhibit non-trivial couplings to complex, ever-changing environments. We have recently shown that linear interactions and a switching environment are encoded separately in the mutual information of the overall system. Here, we first generalize these findings to a broad class of non-linear interacting models. We find that a new term in the mutual information appears, quantifying the interplay between non-linear interactions and environmental changes, and leading to either constructive or destructive information interference. Furthermore, we show that a higher mutual information emerges in out-of-equilibrium environments with respect to an equilibrium scenario. Finally, we generalize our framework to the case of continuously varying environments. We find that environmental changes can be mapped exactly into an effective spatially-varying diffusion coefficient, shedding light on modeling and information structure of biophysical systems in inhomogeneous media.

연구 동기 및 목표

• 교환 환경을 가진 선형 시스템에서의 상호정보량 이론을 비선형 상호작용 시스템으로 확장한다.
• 비선형 상호작용과 환경 변화가 복잡한 시스템의 정보량에 공동으로 미치는 영향을 조사한다.
• 다양한 비균형 조건(예: 곱셈 노이즈)이 상호정보량에 미치는 영향을 탐구한다.
• 이론 프레임워크를 이산 상태 모델을 넘어서 연속적으로 변화하는 환경으로 일반화한다.
• 환경 변화가 비균일한 확산계수를 통해 효과적인 공간적 결합을 유도할 수 있음을 규명하여, 직접적인 상호작용을 잘못 추론하는 것을 경고한다.

제안 방법

• 내부 동역학에 비해 빠르거나 느린 환경 전환이 일어나는 시스템을 분석하기 위해 시간 스케일 분리 접근법을 사용한다.
• 이산적 환경 상태(D−, D+)와 전이율(w±)을 갖는 포아송-플랑크 방정식을 적용하여, 시스템을 정적 분포의 혼합으로 모델링한다.
• 느린 점프 근사에서 정적 해를 상태별 정적 분포의 가중합으로 표현한다: pslow(x) = Σi πi P^st_i(x).
• 빠른 점프 근사에서 환경는 일정한 효과적 확산계수 D_eff = Σi πi Di로 평균화된다.
• 빠른 동역학와 느린 동역학을 분리하기 위해 δ = τ/τenv를 기반으로 형식적 전개를 도입하고, 주요 정적 해를 유도한다.
• 연속적인 환경 과정을 효과적인 공간적으로 변화하는 확산계수로 매핑하여, 환경 영향이 직접적인 공간적 결합으로 나타날 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 비선형 상호작용은 변화하는 환경에서 시스템 구성 요소 간의 상호정보량에 어떻게 영향을 미치는가?
• RQ2 비선형 결합이 존재할 경우, 환경 변화와 내부 상호작용은 상호정보량에서 분리될 수 있는가?
• RQ3 비균형 조건(예: 곱셈 노이즈)은 상호정보량을 증가시키거나 감소시키는 데 어떤 역할을 하는가?
• RQ4 지속적으로 변화하는 환경은 시스템의 정보 구조에 어떻게 영향을 미치는가?
• RQ5 데이터 기반 추론에서 환경적 영향이 직접적인 상호작용으로 오해될 정도로 어느 정도까지 퍼져 있는가?

주요 결과

• 비선형 상호작용과 환경 변화 간의 상호작용으로 인해 상호정보량에 새로운 간섭항이 나타나며, 이는 총 정보량을 구성적으로 또는 파괴적으로 변화시킬 수 있다.
• 내부 상호작용이 없는 경우, 상호정보량은 비균형 구동 항(예: 온도 구배)의 크기와 함께 증가함을 보여, 비균형 조건이 환경 정보 전달을 증가시킨다는 것을 시사한다.
• 빠른 점프 근사에서 상호정보량은 오직 내부 상호작용에 의존하며, 환경는 일정한 효과적 확산계수로 평균화된다.
• 느린 점프 근사에서 환경적 기여와 내부 기여가 모두 존재하며, 이들의 상호작용으로 새로운 간섭항이 발생한다.
• 연속적인 환경 변화는 정확히 효과적인 공간적으로 변화하는 확산계수로 매핑될 수 있으며, 이는 환경적 영향이 직접적인 상호작용이 아니라 간접적인 공간적 결합을 유도할 수 있음을 의미한다.
• 이 매핑은 데이터 기반 추론에서 환경의 비균일성이 시스템의 구조적 결합으로 잘못 해석될 수 있음을 경고한다.