[논문 리뷰] Information, complexity and entropy: a new approach to theory and measurement methods

Benci, Claudio Bonanno외 3명|arXiv (Cornell University)|2001. 07. 10.

Computability, Logic, AI Algorithms참고 문헌 23인용 수 10

한 줄 요약

이 논문은 동역적 시스템에서 단일 궤적에서 콜모고로프-신아이진(Kolmogorov-Sinai, K-S) 엔트로피를 직접 측정할 수 있는 계산 가능한, 압축 기반의 정보 및 복잡성 정의를 제안한다. 데이터 압축 알고리즘을 활용함으로써, 기존 이론적 한계를 초월하여 K-S 엔트로피가 0인 시스템조차도 혼돈된 행동을 실용적으로 계산할 수 있다.

ABSTRACT

In this paper, we present some results on information, complexity and entropy as defined below and we discuss their relations with the Kolmogorov-Sinai entropy which is the most important invariant of a dynamical system. These results have the following features and motivations: -we give a new computable definition of information and complexity which allows to give a computable characterization of the K-S entropy; -these definitions make sense even for a single orbit and can be measured by suitable data compression algorithms; hence they can be used in simulations and in the analysis of experimental data; -the asymptotic behavior of these quantities allows to compute not only the Kolmogorov-Sinai entropy but also other quantities which give a measure of the chaotic behavior of a dynamical system even in the case of null entropy.

연구 동기 및 목표

• 집합 평균이 아닌 개별 시스템 궤적에 적용 가능한 계산 가능한 정보 및 복잡성 정의를 개발하기 위해.
• 실용적이고 알고리즘적인 방법을 사용해 단일 궤적에서 콜모고로프-신아이진 엔트로피를 측정할 수 있도록 하기 위해.
• 伝통적 방법이 실패하는 K-S 엔트로피가 0인 시스템으로의 혼돈 동역학의 특성화를 확장하기 위해.
• 모의 실험 및 실험에 유용한 측정 가능한, 시뮬레이션-우선적 접근법을 제공하기 위해.
• 압축 기반 지표를 통해 알고리즘적 정보 이론과 동역적 시스템 간의 연결을 구축하기 위해.

제안 방법

• 단일 궤적 궤적 데이터의 알고리즘적 압축 가능성에 의해 정보 및 복잡성 정의하기.
• 압축률을 알고리즘적 복잡성의 대체 측정으로 사용해 정보량을 추정하기 위해 데이터 압축 알고리즘(예: 레플레르-지브)을 활용하기.
• 궤적의 渐近적 압축률에 기반한 콜모고로프-신아이진 엔트로피의 계산 가능한 근사치 유도하기.
• K-S 엔트로피가 0인 시스템에서 약한 혼돈 또는 비에르고딕 행동을 탐지하기 위해 프레임워크 확장하기.
• 압축 비율의 渐진적 행동 분석을 통해 장기적인 동역적 복잡성 추론하기.
• 정확도 및 강건성 평가를 위해 시뮬레이션 및 실험적 시간 시리즈에서 방법 검증하기.

실험 결과

연구 질문

• RQ1 정보 및 복잡성은 개별 시스템 궤적에 적용 가능한 계산 가능한 방식으로 정의될 수 있는가?
• RQ2 알고리즘적 압축을 통해 단일 궤적에서 콜모고로프-신아이진 엔트로피를 어떻게 추정할 수 있는가?
• RQ3 이 프레임워크는 K-S 엔트로피가 0인 시스템에서 혼란된 행동을 탐지할 수 있는가?
• RQ4 결정론적 시스템에서 압축 효율성과 동역적 복잡성 간의 관계는 무엇인가?
• RQ5 데이터 압축 알고리즘은 실세계 데이터에서 엔트로피와 복잡성의 실용적 측정으로 얼마나 잘 기능할 수 있는가?

주요 결과

• 제안된 정보 및 복잡성 정의는 계산 가능하며 개별 궤적에 적용 가능하여 실제 데이터의 실용적 분석을 가능하게 한다.
• 궤적의 渐진적 압축률은 콜모고로프-신아이진 엔트로피를 직접 추정하는 데 기여한다.
• 이 방법은 K-S 엔트로피가 0인 시스템에서도 혼돈된 동역학을 성공적으로 탐지하여 숨겨진 복잡성을 드러낸다.
• 이 프레임워크는 표준 압축 도구를 사용해 시뮬레이션 및 실험적 시간 시리즈에서 동역적 복잡성 측정이 가능하게 한다.
• 이 접근법은 전통적인 에르고딕 이론 기반 엔트로피 계산에 대한 강건한 알고리즘적 대안을 제공한다.
• 결과는 압축 기반 측정이 고전적 엔트로피 정의의 범위를 초월해 미세한 혼란된 행동을 포착할 수 있음을 보여준다.