[논문 리뷰] Isomorphism between Maximum Lyapunov Exponent and Shannon's Channel Capacity

Gerald Friedland, Alfredo Metere|arXiv (Cornell University)|2017. 06. 27.

Evolutionary Algorithms and Applications참고 문헌 6인용 수 4

한 줄 요약

이 논문은 계산 가능한 동역학계의 최대 리아프노프 지수(Lyapunov exponent, LE)와 노이즈가 없는 메모리 없는 샤논 통신 채널의 채널 용량 사이에 엄밀한 동형사상(isomorphism)을 수립한다. LE를 시스템 상태의 진화를 추적하기 위해 필요한 최대 비트 전송률로 재해석함으로써, 혼돈 이론과 정보 이론을 연결하여, 시스템의 운동 방정식을 직접 풀지 않고도 기계학습 및 정보 이론적 방법을 활용해 복잡한 물리계를 시뮬레이션할 수 있도록 한다.

ABSTRACT

We demonstrate that the Maximum Lyapunov Exponent for computable dynamical systems is isomorphic to the maximum capacity of a noiseless, memoryless channel in a Shannon communication model. The isomorphism allows the understanding of Lyapunov exponents in the simplified terms of Information Theory, rather than the traditional definitions in Chaos Theory. This work provides a bridge between fundamental physics and Information Theory to the mutual benefit of both fields. The result suggests, among other implications, that machine learning and other information theory methods can be successfully employed at the core of physics simulations.

연구 동기 및 목표

• 동역학계에서의 최대 리아프노프 지수(LE)와 샤논 정보이론의 채널 용량 사이에 공식적인 수학적 동형사상을 수립하기 위해.
• LE를 노이즈가 없고 메모리가 없는 통신 채널에서의 최대 정보 전송률로 해석할 수 있음을 보여주기 위해.
• 해당 방정식의 운동을 직접 풀지 않고도 정보 이론 및 기계학습 기법을 활용해 복잡한 동역학계를 시뮬레이션할 수 있도록 하기 위해.
• 코모고로프-신카이 엔트로피를 양의 채널 용량의 합으로 일반화함으로써, LE 기반 분석의 유효성을 정보 이론으로 다룰 수 있는 모든 시스템으로 확장하기 위해.
• 기존의 확률적 접근과 대비되어 물리계의 정보이론적 분석에 대해 결정론적 프레임워크를 제공하기 위해.

제안 방법

• 무한소 입력 신호의 극한을 이용해 최대 리아프노프 지수와 샤논 채널 용량 사이의 동형사상을 수학적으로 유도하기 위해.
• 입력 크기 X가 0에 수렴하는 극한에서 샤논-하트리 법칙을 재구성하여, 용량에 대한 보편적인 상한을 도출하기 위해.
• 최대 채널 용량 $ C_M $을 $ \lim_{t\to\infty} \lim_{X\to 0} \frac{1}{t} \log_2(Y/X) $로 정의하고, 이가 최대 리아프노프 지수와 동형임을 증명하기 위해.
• 컴퓨터 표현 가능성 불변성 원리를 적용하여, 임의의 N차원 동역학계가 일반성을 잃지 않고 1차원 재귀 맵으로 축소될 수 있음을 보여주기 위해.
• 상태의 시간 진화를 통신 과정으로 모델링하기 위해 상호정보량 $ I(X;Y) $와 신호 대 잡음비 개념을 사용하기 위해.
• 동역학계의 진화를 초기 상태 $ X $에서 최종 상태 $ Y $로 매핑하는 시간에 따라 변하는 채널 함수 $ N(t) $로 해석하기 위해.

실험 결과

연구 질문

• RQ1 결정론적 동역학계의 최대 리아프노프 지수는 샤논 모델에서 노이즈가 없고 메모리가 없는 통신 채널의 용량과 엄밀한 동형사상이 될 수 있는가?
• RQ2 채널 용량 공식에서 $ X \to 0 $의 극한을 취할 때의 물리적 의미는 무엇이며, 이는 시스템의 내재적 복잡성과 어떻게 관련되는가?
• RQ3 리아프노프 지수와 채널 용량 사이의 동형사상은 코모고로프-신카이 엔트로피를 양의 채널 용량의 합으로 측정하는 데 어떻게 확장되는가?
• RQ4 기계학습 및 정보 이론적 방법을 사용하여 상태 진화를 정보 전송으로 인코딩함으로써 동역학계를 시뮬레이션할 수 있는가?
• RQ5 결정론적 물리계를 통신 채널로 간주할 수 있는가? 이는 혼돈 이론과 정보 이론을 하나의 통합 프레임워크로 통합할 수 있는가?

주요 결과

• 무한소 입력 신호의 극한에서 최대 리아프노프 지수가 노이즈가 없고 메모리가 없는 채널의 최대 채널 용량 $ C_M $과 엄밀히 동형임을 증명하였다.
• 최대 채널 용량 $ C_M = \lim_{t\to\infty} \lim_{X\to 0} \frac{1}{t} \log_2(Y/X) $라는 새로운 척도를 정의하고, 이가 최대 리아프노프 지수와 동치임을 입증하여 정보 전송률에 대한 보편적인 상한을 제공하였다.
• 기존에 양의 리아프노프 지수의 합으로 정의된 코모고로프-신카이 엔트로피를, 양의 채널 용량의 합에 해당하는 총 비트 전송률로 재해석하였다.
• 이 동형사상 덕분에 임의의 N차원 동역학계를 등가의 1차원 재귀 맵으로 축소할 수 있으며, 이는 컴퓨터 표현 가능성 불변성 원리를 정립하였다.
• 본 연구는 기존의 확률적 모델과 대비되어 물리계의 정보이론적 분석에 대해 결정론적 기반을 제공하였으며, 기계학습의 물리 시뮬레이션 응용 가능성을 확장하였다.
• 이 결과는 Ebeid의 이전 연구를 검증하고 크게 일반화하였으며, 리아프노프 지수가 단순히 통신 속도와 상관관계가 있는 것이 아니라 수학적으로 동형임을 입증하였다.