[논문 리뷰] Stripping syntax from complexity: An information-theoretical perspective on complex systems

Rick Quax, Omri Har-Shemesh외 2명|arXiv (Cornell University)|2016. 03. 11.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 도메인 특화 세부 정보를 추상화하여 시스템을 비트를 저장, 전송, 수정하는 정보 처리자로 간주함으로써, 정보 이론적 프레임워크를 제안한다. 모델에 특화된 문법과 비결정성, 임계성, 내성적 안정성과 같은 보편적 현상 간의 분리를 통해, 복잡계의 복잡성에 대한 도메인 간 이해를 가능하게 하며, 복잡계에서 새로운 형태의 보편성 가능성을 드러낼 수 있다.

ABSTRACT

Claude Shannons information theory (1949) has had a revolutionary impact on communication science. A crucial property of his framework is that it decouples the meaning of a message from the mechanistic details from the actual communication process itself, which opened the way to solve long-standing communication problems. Here we argue that a similar impact could be expected by applying information theory in the context of complexity science to answer long-standing, cross-domain questions about the nature of complex systems. This happens by decoupling the domain-specific model details (e.g., neuronal networks, ecosystems, flocks of birds) from the cross-domain phenomena that characterize complex systems (e.g., criticality, robustness, tipping points). This goes beyond using information theory as a non-linear correlation measure, namely it allows describing a complex system entirely in terms of the storage, transfer, and modification of informational bits. After all, a phenomenon that does not depend on model details should best be studied in a framework that strips away all such details. We highlight the first successes of information-theoretic descriptions in the recent complexity literature, and emphasize that this type of research is still in its infancy. Finally we sketch how such an information-theoretic description may even lead to a new type of universality among complex systems, with a potentially tremendous impact. The goal of this perspective article is to motivate a paradigm shift in the young field of complexity science using a lesson learnt in communication science.

연구 동기 및 목표

• 모델에 특화된 세부 정보를 제거함으로써, 복잡계에 대한 오랜 기간 동안 제기된 도메인 간 질문을 해결하기 위해.
• 임계성과 전환점과 같은 보편적 현상들을 도메인 특화 구현으로부터 분리하기 위해.
• 상관관계 측정 도구를 넘어서 정보 이론을 복잡성 연구의 기초 프레임워크로 확립하기 위해.
• 샤논이 의미를 통신 메커니즘에서 분리한 것에 영감을 받아, 복잡성 과학의 패러다임 전환을 이끌기 위해.
• 정보 이론적 서술을 통해 복잡계에서 새로운 형태의 보편성이 도출될 수 있는지 탐색하기 위해.

제안 방법

• 정보 이론을 적용하여 복잡계를 비트를 처리하는 실체로 모델링하기 위해.
• 핵심 정보 이론적 양: 엔트로피, 전송 엔트로피, 알고리즘 복잡도에 집중하기 위해.
• 정보 저장, 전송, 변형을 시스템 행동의 중심 기술자로 삼기 위해.
• 신경망, 생태계, 무리와 같은 모든 복잡계를 특정 메커니즘에 대한 언급 없이 정보 처리 시스템으로 간주하기 위해.
• 정보가 구성 요소 간에 어떻게 저장되고 공유되고 변환되는지에 따라 시스템 역학을 수식화하기 위해.
• 도메인 특화 문법의 추상화를 통해 시스템 간 패턴을 드러내기 위해.

실험 결과

연구 질문

• RQ1 정보 이론은 특정 모델 세부 정보에 의존하지 않고 복잡계를 어떻게 서술할 수 있는가?
• RQ2 정보 이론적 측정을 통해 복잡계의 어떤 보편적 성질을 포착할 수 있는가?
• RQ3 정보 처리에 초점을 맞추면, 구조적 또는 역학적 세부 정보에 기반하지 않고도 복잡계의 통합적 서술이 가능해질 수 있는가?
• RQ4 정보 이론은 임계성과 내성적 안정성 같은 현상들이 도메인 간에서 더 깊이 이해되는 데 어떻게 기여하는가?
• RQ5 정보 이론적 서술을 통해 복잡계에서 새로운 형태의 보편성이 도출될 수 있는가?

주요 결과

• 논문은 정보 이론적 서술이 도메인 특화 문법을 추상화하면서도 핵심적인 시스템 수준 행동을 유지할 수 있음을 입증한다.
• 정보 저장, 전송, 변형에 집중함으로써, 이 프레임워크는 복잡계의 도메인 간 비교를 가능하게 한다.
• 이 방법은 임계성과 전환점과 같은 현상들이 특정 모델에 의존하는 것이 아니라 정보 역학에 의존한다는 것을 드러낸다.
• 이 방법은 샤논 이론이 통신 과학을 혁신한 것과 유사하게, 복잡계에서 보편 원리를 규명하는 기초를 제공한다.
• 이 프레임워크는 여전히 초기 단계에 있지만, 문헌에서의 초기 성공 사례들은 광범위한 적용 잠재력을 시사한다.
• 저자들은 이 관점이 복잡성 과학에서 정보 처리에 기반한 새로운 형태의 보편성으로 이어질 수 있을 것이라고 주장한다.