[논문 리뷰] Randomness, Information, and Complexity

Peter Grassberger|arXiv (Cornell University)|2012. 08. 16.

Computability, Logic, AI Algorithms참고 문헌 7인용 수 26

한 줄 요약

이 논문은 정보이론적 측정법을 통해 동역학계에서의 복잡성에 대해 연구하며, 기호 역학과 유효 측도 복잡성(EMC)에 초점을 맞춘다. 복잡성은 랜덤성보다는 구조적이고 비랜덤한 상관관계에서 비롯된다고 제안하며, 이는 22번 셀룰러 오토마타 규칙에서 입증된다. 이 규칙은 엔트로피가 0이지만 블록 엔트로피가 발산하여 생물학적 시스템과 유사한 광범위하고 제약된 애트랙터를 형성한다. 주요 기여는 EMC가 무작위성이나 주기성 이상의 자가조직화된 복잡성을 측정할 수 있음을 밝혀낸 것이다.

ABSTRACT

We review possible measures of complexity which might in particular be applicable to situations where the complexity seems to arise spontaneously. We point out that not all of them correspond to the intuitive (or "naive") notion, and that one should not expect a unique observable of complexity. One of the main problems is to distinguish complex from disordered systems. This and the fact that complexity is closely related to information requires that we also give a review of information measures. We finally concentrate on quantities which measure in some way or other the difficulty of classifying and forecasting sequences of discrete symbols, and study them in simple examples.

연구 동기 및 목표

• 동역학계에서 랜덤성이나 질서 없는 상태와 구별되는 복잡성의 정량적 측정법을 체계화하기 위해.
• 물리학, 생물학, 정보이론 분야에서 '복잡성'을 정의하는 데 있어 의미적·개념적 모호성을 해결하기 위해.
• 간단한 규칙으로부터 자가조직화된 복잡성(예: 생명에서 관찰되는 것과 유사한 것)이 기호 역학과 정보 측정법을 통해 어떻게 발생할 수 있는지 탐구하기 위해.
• 유효 측도 복잡성(EMC)이 물리적, 생물학적, 언어적 시스템의 시퀀스에서 장거리 상관관계를 얼마나 잘 캡처하는지 평가하기 위해.

제안 방법

• 연속적인 동역학계 궤적(예: 2차 지도)을 기호 시퀀스(예: L, R, C)로 변환하기 위해 기호 역학을 사용한다.
• 블록 엔트로피와 유효 측도 복잡성(EMC)을 적용하여 기호 시퀀스의 상관관계를 정량화하며, EMC는 블록 엔트로피의 극한값에서 정적 분포의 엔트로피를 뺀 것으로 정의된다.
• 전이 확률을 추정하기 위해 확률적 예측 모델을 활용하여 시퀀스의 엔트로피 추정을 가능하게 한다.
• 임의의 초기 조건에서의 진화를 시뮬레이션하여 셀룰러 오토마타 규칙 22의 공간적·시간적 블록 엔트로피를 측정한다.
• 반복 길이와 재현율을 이용하여 영어 문장의 엔트로피를 추정하고, 샤논의 재현율 기반 방법을 적용하여 장거리 상관관계를 유추한다.
• 다양한 시스템 간 비교: 동역학계, 셀룰러 오토마타, 언어, DNA를 대상으로 하여 EMC가 복잡성 측정에 있어 보편성 여부를 평가한다.

실험 결과

연구 질문

• RQ1 유효 측도 복잡성(EMC)은 동역학계에서 무작위 또는 주기적인 것과 구별되는 복잡하고 구조적인 시퀀스를 식별할 수 있는가?
• RQ2 셀룰러 오토마타 규칙 22는 엔트로피가 0이지만 블록 엔트로피가 발산함으로써 비트리비얼하고 자가조직화된 애트랙터를 생성하는가? 이는 무작위성이나 주기성과 다름없는가?
• RQ3 written English와 같은 자연어 시퀀스는 높은 정보량에도 불구하고 낮은 엔트로피를 보이며, 장거리 상관관계를 얼마나 잘 나타내는가?
• RQ4 EMC는 알고리즘적 복잡성과 비교하여 기호 시퀀스의 복잡성을 측정할 때, 무작위성과 복잡성이 직관적으로 구별되는 경우에 어떻게 작용하는가?
• RQ5 EMC는 생명체와 같이 스스로 구조를 생성하는 시스템에 대해 보편적인 복잡성 측정법으로 기능할 수 있는가?

주요 결과

• 셀룰러 오토마타 규칙 22는 엔트로피가 0인 정적 상태를 생성하며, 이는 극도로 제약된 상태임을 나타내지만, 블록 엔트로피는 블록 길이에 따라 발산하여 광범위하고 비주기적이며 비랜덤한 애트랙터를 암시한다.
• 규칙 22의 정적 상태에서의 공간적·시간적 시퀀스는 블록 엔트로피의 차이가 파워 법칙으로 감쇠함을 보이며, 이는 표준 엔트로피 측정법이 포착하지 못하는 장거리 상관관계를 나타낸다.
• written English는 N=1일 때 약 4.4 비트/문자에서 시작하여 큰 N에 이르면 1 비트 이하로 엔트로피 추정치가 감소함을 보이며, 높은 재현율과 장거리 문법적 상관관계를 나타낸다.
• 영어 텍스트에서 반복되는 문자 시퀀스의 평균 길이는 N = 2×10⁵ 문자 내에서 약 8자에 이르며, 이는 단어 수준의 구조를 초월한 문맥적·의미적 제약에 민감함을 시사한다.
• DNA 시퀀스는 영어와 달리 매우 높은 반복 빈도와 비정적 특성으로 인해 동일한 방법으로 분석할 수 없었다.
• 연구는 유효 측도 복잡성이 무작위성과는 다름없는 복잡성의 한 형태를 캡처함을 결론 내리며, 이는 규칙 22와 영어와 같이 주기성이나 완전한 무작위성 없이도 구조가 나타나는 시스템에서 관찰된다.