[논문 리뷰] Upper and lower bounds for the mutual information in dynamical networks

Maurı́cio S. Baptista, R. M. Rubinger외 4명|arXiv (Cornell University)|2011. 04. 18.

Nonlinear Dynamics and Pattern Formation인용 수 2

한 줄 요약

이 논문은 확률적 계산에 의존하지 않고 결정성 또는 부분적으로 결정성인 동역학적 네트워크에서 상호정보량 속도(MIR)의 상한과 하한을 계산하는 방법을 제안한다. 리아풀로프 지수와 상관 차원과 같은 잘 알려진 동역학계 양에 기반하여 정보 교환을 효율적으로 추정할 수 있으며, 이는 결합된 맵과 실험적 진동자 네트워크에서 동기화와 정보 전달 간의 강력한 연관성을 보여준다.

ABSTRACT

The amount of information exchanged per unit of time between two nodes in a dynamical network or between two data sets is a powerful concept for analysing complex systems. This quantity, known as the mutual information rate (MIR), is calculated from the mutual information, which is rigorously defined only for random systems. Moreover, the definition of mutual information is based on probabilities of significant events. This work offers a simple alternative way to calculate the MIR in dynamical (deterministic) networks or between two data sets (not fully deterministic), and to calculate its upper and lower bounds without having to calculate probabilities, but rather in terms of well known and well defined quantities in dynamical systems. As possible applications of our bounds, we study the relationship between synchronisation and the exchange of information in a system of two coupled maps and in experimental networks of coupled oscillators.

연구 동기 및 목표

• 기존의 확률적 정의가 적용되지 않는 결정성 또는 부분적으로 결정성인 동역학적 네트워크에서 상호정보량 속도(MIR)를 추정하는 방법을 개발하는 것.
• 희귀사건의 확률 추정이 필요 없이, 잘 정의된 동역학계 양만을 사용하여 MIR에 대한 상한과 하한을 제공하는 것.
• 결합 맵과 실험적 진동자 네트워크와 같은 복잡계에서 정보 교환을 분석하기 위한 실용적인 프레임워크를 구축하는 것.
• 제안된 경계를 활용하여 동역학적 네트워크에서 동기화와 정보 전달 간의 관계를 조사하는 것.

제안 방법

• 이 방법은 시스템의 애트랙터의 최대 리아풀로프 지수와 상관 차원과 같은 동역학적 불변량을 사용하여 MIR의 경계를 유도한다.
• 상태공간 내 궤도의 기하학적 및 시간적 성질에 기반한 경계로 표준적인 확률적 상호정보량 정의를 대체한다.
• 상한은 시스템의 발산 속도(리아풀로프 지수)에 의해 제약을 받는 최대 가능한 정보 흐름에 기반한다.
• 하한은 상관 차원과 궤도 간 분리의 시간 스케일을 사용하여 최소로 구별 가능한 정보 전달을 반영한다.
• 이 방법은 두 개의 결합 로지스틱 맵 시스템과 실험적 진동자 네트워크에서 검증되었다.

실험 결과

연구 질문

• RQ1 희귀사건의 확률 추정에 의존하지 않고 결정성 동역학계 네트워크에서 상호정보량 속도를 어떻게 경계할 수 있는가?
• RQ2 제안된 MIR 경계로 측정할 때, 결합된 동역학계 시스템에서 동기화와 정보 교환 간의 관계는 어떠한가?
• RQ3 제안된 경계는 실제 실험적 결합 진동자 네트워크에서 정보 전달을 정확하게 반영할 수 있는가?
• RQ4 리아풀로프 지수와 상관 차원과 같은 동역학적 불변량은 복잡계에서 정보 교환의 한계와 어떻게 관련되는가?

주요 결과

• 상호정보량 속도의 상한은 최대 리아풀로프 지수에 비례하며, 이는 가까운 궤도 간 발산 속도의 최대 비율을 반영한다.
• 하한은 상관 차원과 궤도 분리의 특성 시간 스케일에 의해 결정되며, 이는 최소로 감지 가능한 정보 흐름을 나타낸다.
• 결합 맵 시스템에서는 경계가 결합 강도가 증가함에 따라 정보 교환이 증가함을 보여주며, 이는 동기화가 시작되는 시점 근처에서 최고에 이른다.
• 실험적 진동자 네트워크에서는 경계가 관측된 동기화와 강하게 상관되며, 이는 동기화 상태에서 높은 정보 전달이 발생함을 시사한다.