[논문 리뷰] Information Theory for Complex Systems Scientists

Thomas F. Varley|arXiv (Cornell University)|2023. 04. 24.

Complex Network Analysis Techniques인용 수 4

한 줄 요약

이 논문은 복잡계 과학자들을 위한 현대 정보이론에 대한 종합적이고 접근성 있는 소개를 제공하며, 엔트로피, 상호정보량, 전이엔트로피와 같은 핵심 개념과 부분 정보 분해 및 네트워크 추론과 같은 고급 주제를 다룹니다. 이러한 도구들이 비선형 상관관계와 복잡계 내 통계적 관계를 어떻게 드러내는지 보여주며, 다스케일 및 상호연결된 현상에 응용하기 위한 실용적 지침을 제공합니다.

ABSTRACT

In the 21st century, many of the crucial scientific and technical issues facing humanity can be understood as problems associated with understanding, modelling, and ultimately controlling complex systems: systems comprised of a large number of non-trivially interacting components whose collective behaviour can be difficult to predict. Information theory, a branch of mathematics historically associated with questions about encoding and decoding messages, has emerged as something of a lingua franca for those studying complex systems, far exceeding its original narrow domain of communication systems engineering. In the context of complexity science, information theory provides a set of tools which allow researchers to uncover the statistical and effective dependencies between interacting components; relationships between systems and their environment; mereological whole-part relationships; and is sensitive to non-linearities missed by commonly parametric statistical models. In this review, we aim to provide an accessible introduction to the core of modern information theory, aimed specifically at aspiring (and established) complex systems scientists. This includes standard measures, such as Shannon entropy, relative entropy, and mutual information, before building to more advanced topics, including: information dynamics, measures of statistical complexity, information decomposition, and effective network inference. In addition to detailing the formal definitions, in this review we make an effort to discuss how information theory can be interpreted and develop the intuition behind abstract concepts like "entropy," in the hope that this will enable interested readers to understand what information is, and how it is used, at a more fundamental level.

연구 동기 및 목표

• 다양한 분야의 연구자들이 접근할 수 있도록 고급 개념을 쉽게 이해할 수 있도록 정보이론과 복잡계 과학 사이의 격차를 메우기 위해.
• 전통적인 통계 방법이 복잡계 내 비선형 다변량 상관관계를 포착하는 데 한계가 있음을 다루기 위해.
• 정보이론적 도구를 활용해 복잡계 내에서 정보 흐름, 통합, 구조를 통합적으로 이해할 수 있는 프레임워크를 제공하기 위해.
• 기후 모델링, 신경과학, 사회적 역학과 같은 실제 문제에 정보이론을 적용하는 데 연구자들을 안내하기 위해.
• '정보'를 물질처럼 해석하는 것의 오류를 경고하고, 정보가 관측자에 따라 달라지며 불확실성 감소의 본질을 강조하기 위해.

제안 방법

• 샤논 엔트로피, 상대 엔트로피, 상호정보량과 같은 기본 개념을 '기대되는 놀라움'과 '필요한 정보'와 같은 직관적 해석을 통해 소개합니다.
• 정보 전이를 측정하기 위한 전이엔트로피, 기억을 위한 활성 정보 저장, 예측 능력을 위한 초과엔트로피와 같은 고급 도구를 개발합니다.
• 다중 입력이 출력에 기여하는 방식을 분해하기 위해 부분 정보 분해(PID)를 활용하여 공유, 중복 기여, 상호작용 기여 정보를 구분합니다.
• 정보 역학을 활용해 시스템이 시간에 따라 정보를 저장, 전송, 수정하는 방식을 분석합니다.
• 상호정보량과 전이엔트로피를 사용해 기능적 및 효과적 연결성을 재구성하는 네트워크 추론 기법을 제안합니다.
• 이산 및 연속 신호에 대한 실용적 추정기법을 논의하며, 가우시안 및 밀도 기반 방법을 포함하고, 편향과 유의성 검정에 주의를 기울입니다.

실험 결과

연구 질문

• RQ1 정보이론은 비선형, 고차원 복잡계에서의 통계적 상관관계를 어떻게 정량화할 수 있는가?
• RQ2 정보는 복잡계에서의 분출 행동, 기억, 예측을 이해하는 데 어떤 역할을 하는가?
• RQ3 정보 분해(PID)는 변수들이 시스템의 출력에 기여하는 방식 중 중복, 고유, 상호작용 기여 정보를 어떻게 분리할 수 있는가?
• RQ4 전이엔트로피와 활성 정보 저장과 같은 정보이론적 측정법은 기존의 상관계수 기반 방법보다 어떤 점에서 향상되는가?
• RQ5 정보이론은 인과관계 추론에 어떤 한계를 지니며, 연구자들이 통계적 상관관계를 인과관계로 오해하지 않도록 하기 위해선 어떻게 해야 하는가?

주요 결과

• 정보이론은 비선형 다변량 상관관계를 놓치는 전통적인 파rametric 모델이 부족한 상황에서 불확실성 감소를 정량화함으로써 복잡계 분석을 위한 견고한 프레임워크를 제공한다.
• 전이엔트로피와 활성 정보 저장과 같은 측정법은 비선형 관계가 존재하는 동적 시스템에서도 정보 흐름과 기억을 효과적으로 포착한다.
• 부분 정보 분해(PID)는 다중 입력이 출력에 기여하는 방식을 분해하여 중복, 고유, 상호작용 정보를 구분할 수 있게 한다.
• 상호정보량과 전이엔트로피를 활용한 네트워크 추론은 기능적 및 효과적 연결성을 재구성할 수 있지만, 데이터 크기와 추정기 편향에 민감함을 보인다.
• 정보이론의 강점에도 불구하고 인과관계를 자체적으로 확립할 수는 없으며, 서로 다른 인과 모델이 동일한 효과적 연결성 구조를 낳을 수 있으므로 추가적인 모델 제약 조건이 필요하다.
• 논문은 '정보'를 물질처럼 해석하는 것을 경고하며, 정보가 본질적으로 관측자에 따라 달라지며 불확실성 감소의 본질에 뿌리를 두고 있으며, 철학적 본질이 아니라는 점을 강조한다.