[논문 리뷰] An Information-Theoretic Formalism for Multiscale Structure in Complex Systems

Benjamin Allen, Blake C. Stacey외 1명|arXiv (Cornell University)|2014. 09. 16.

Gene Regulatory Network Analysis참고 문헌 115인용 수 10

한 줄 요약

이 논문은 샤논 엔트로피와 콜모고로프 복잡도와 같은 일반화된 정보 측도를 사용하여 복잡계의 다스케일 구조를 정보 이론적 형식으로 정량화하는 방법을 제안한다. 정보 함수의 공리적 체계를 통해 구성 요소 간의 의존성을 형식화하고, 복잡도 프로파일과 새로운 지표인 정보의 한계 효용을 도출하며, 통계역학의 그린 전개와 연결시켜 다변량 상호정보량의 음수 문제를 해결한다.

ABSTRACT

We develop a general formalism for representing and understanding structure in complex systems. In our view, structure is the totality of relationships among a system's components, and these relationships can be quantified using information theory. In the interest of flexibility we allow information to be quantified using any function, including Shannon entropy and Kolmogorov complexity, that satisfies certain fundamental axioms. Using these axioms, we formalize the notion of a dependency among components, and show how a system's structure is revealed in the amount of information assigned to each dependency. We explore quantitative indices that summarize system structure, providing a new formal basis for the complexity profile and introducing a new index, the "marginal utility of information". Using simple examples, we show how these indices capture intuitive ideas about structure in a quantitative way. Our formalism also sheds light on a longstanding mystery: that the mutual information of three or more variables can be negative. We discuss applications to complex networks, gene regulation, the kinetic theory of fluids and multiscale cybernetic thermodynamics.

연구 동기 및 목표

• 정보 이론을 사용하여 구성 요소 간의 양적 관계로 시스템 구조를 일반적이고 공리적인 프레임워크로 표현하는 것.
• 세 개 이상의 변수에서 발생하는 다변량 상호정보량의 음수 문제라는 오랫동안 지속된 역설을 통계역학과 그린 전개에 기반하여 해결하는 것.
• 다양한 척도에서 시스템 구조를 특징짓는 데 사용할 수 있는 새로운 정량적 지표인 복잡도 프로파일과 정보의 한계 효용을 도입하는 것.
• 네트워크, 유체역학, 유전자 조절 등 서로 다른 복잡계 표현 방식을 공통의 정보 이론적 기반으로 통합하는 것.
• 정보 이론적 공리를 사용하여 리노멀화 그룹 아이디어를 일반화하는 엄밀한 다스케일 형식화를 제공함으로써, 복잡계의 체계적 군집화를 가능하게 하는 것.

제안 방법

• 기본 공리(예: 연속성, 대칭성, 가환성)를 만족하는 정보 함수를 사용하여 구성 요소 간의 의존성을 형식화한다.
• 모멘트-누적 관계의 역전에 기반한 교대 부호를 가진 부분집합의 부호 있는 합으로 다변량 상호정보량을 정의한다.
• 그린 전개 (125)를 적용하여 총 엔트로피를 k체계 상관관계의 합으로 표현하고, 각 척도에서 다변량 상호정보량과 연결한다.
• 복잡도 프로파일 D(k)를 척도별 정보 기여도의 가중합으로 유도하며, 계수는 모멘트-누적 변환의 역행렬에 의해 결정된다.
• 정보의 한계 효용을 새로운 지표로 도입하여, 하위계에 새로운 구성 요소를 추가했을 때의 정보 증가량을 측정한다.
• 이 형식화를 사용하여 기존의 복잡한 네트워크, 운동이론, 사이버네틱 열역학 모델을 정보 이론적 구성 요소로 재해석한다.

실험 결과

연구 질문

• RQ1 다양한 척도에서 정보 이론 원리에 기반하여 시스템 구조를 어떻게 공식화하고 정량화할 수 있는가?
• RQ2 세 개 이상의 변수 간 다변량 상호정보량이 때로 음수를 나타내는 이유는 무엇이며, 이는 시스템의 의존성에 대해 어떤 의미를 갖는가?
• RQ3 복잡도 프로파일의 수학적 근원은 무엇이며, 모멘트-누적 관계의 구조에서 어떻게 유도되는가?
• RQ4 정보의 한계 효용은 어떻게 정의되고, 개별 구성 요소가 시스템 수준의 구조에 기여하는 정도를 평가하는 데 어떻게 활용될 수 있는가?
• RQ5 이 형식화는 네트워크, 유체, 유전자 조절 시스템 등 다양한 복잡계 모델을 어떤 방식으로 공통의 정보 이론적 프레임워크 아래 통합할 수 있는가?

주요 결과

• 그린 전개의 부호 구조에서 비롯되는 자연스러운 현상임을 보여줌으로써, 음수 다변량 상호정보량의 역설이 해결된다.
• 복잡도 프로파일 D(k)는 척도 k에서의 정보 기여도의 선형 조합으로 유도되며, 계수는 모멘트-누적 변환의 역행렬에 의해 결정된다.
• 정보의 한계 효용은 하위계에 구성 요소를 추가했을 때의 정보 증가량을 정량화하는 새로운 지표로 도입된다.
• 그린 전개 (125)는 엔트로피를 일체소, 이체소, 고차 상관관계 항으로 다스케일 분해하며, 이중 상관관계 항은 상호정보량에 해당한다.
• 에르되시-레니 무작위 네트워크와 같이 상관관계가 없는 시스템의 경우 복잡도 프로파일은 첫 번째 순서의 엔트로피로 축소되며, 고차 구조가 존재하지 않을 경우 C(1) = D(1)임을 확인한다.
• 이 형식화는 다변량 상호정보량의 부호 패턴(예: 홀수 크기 그룹은 +, 짝수 크기 그룹은 −)이 상관관계의 누적 전개 선형 대수의 직접적 결과임을 드러내며, 모순이 아니라는 것을 입증한다.