[논문 리뷰] Beyond integrated information: A taxonomy of information dynamics phenomena

Pedro A. M. Mediano, Fernando E. Rosas외 3명|arXiv (Cornell University)|2019. 09. 05.

Cognitive Science and Education Research참고 문헌 5인용 수 31

한 줄 요약

이 논문은 부분 정보 분해를 활용하여 다변량 정보 동역학을 부재, 고유, 상호작용 성분으로 분해하는 새로운 프레임워크인 통합 정보 분해(ΦID)를 소개한다. 기존의 통합 정보 측정법이 서로 다른 동역학적 현상을 혼동함을 드러내며, 뇌나 기후 네트워크와 같은 시스템에서 동역학적 복잡성에 대해 더 정밀하고 맞춤형 평가를 가능하게 하는 분류 체계를 제공한다.

ABSTRACT

Most information dynamics and statistical causal analysis frameworks rely on the common intuition that causal interactions are intrinsically pairwise -- every 'cause' variable has an associated 'effect' variable, so that a 'causal arrow' can be drawn between them. However, analyses that depict interdependencies as directed graphs fail to discriminate the rich variety of modes of information flow that can coexist within a system. This, in turn, creates problems with attempts to operationalise the concepts of 'dynamical complexity' or `integrated information.' To address this shortcoming, we combine concepts of partial information decomposition and integrated information, and obtain what we call Integrated Information Decomposition, or $Φ$ID. We show how $Φ$ID paves the way for more detailed analyses of interdependencies in multivariate time series, and sheds light on collective modes of information dynamics that have not been reported before. Additionally, $Φ$ID reveals that what is typically referred to as 'integration' is actually an aggregate of several heterogeneous phenomena. Furthermore, $Φ$ID can be used to formulate new, tailored measures of integrated information, as well as to understand and alleviate the limitations of existing measures.

연구 동기 및 목표

• 기존의 정보 동역학 프레임워크가 복잡한 상호작용을 이변량 인과 관계로 단순화하는 데서 비롯하는 한계를 해결하기 위해.
• 통합 정보(Φ)와 같은 일차원 측정법을 넘어서, 다차원적 특성으로서의 동역학적 복잡성에 대한 기술을 개발하기 위해.
• 다변량 시계열에서 공존하는 부재, 고유, 상호작용 성분의 이질적인 정보 흐름 방식을 분리하기 위해.
• Φ, 인과 밀도(CD), ψ와 같은 전통적 측정법이 질적으로 다른 정보 동역학 현상을 혼동하는 방식을 드러내기 위해.
• 해석 가능성과 측정의 정확성을 향상시키기 위해 통합 정보를 구성 정보 원자로 분해하는 공리적이고 형식적인 프레임워크를 제공하기 위해.

제안 방법

• 부분 정보 분해(PID)와 통합 정보 이론을 조합하여, 다변량 확률적 동역학 시스템의 정보 흐름을 분해하는 새로운 프레임워크인 ΦID를 구축한다.
• PID를 적용하여 과거에서 미래 상태로의 총 정보 전달(초과 엔트로피)을 부재, 고유성, 상호작용의 조합을 나타내는 16개의 구체적 정보 원자로 분해한다.
• PID의 공리적 구조를 활용하여 음수가 아니며 상한이 존재하고 부분적으로 순서가 정의된 정보 원자를 정의함으로써 수학적 일관성과 해석 가능성 확보.
• 기존의 통합 정보 측정법(예: CD, ψ, ΦWMS, ΦG)의 분석적 표현을 ΦID 원자로 유도하여, 이들이 서로 다른 정보 모드를 어떻게 집계하는지 보여준다.
• 최대 엔트로피 투영 방법과 제약 레이스터를 활용하여 정보 이론적 양을 수치적으로 계산함으로써 고차원 시스템에서의 수치적 불안정성 최소화.
• 합성 시스템을 사용하여 프레임워크를 검증하였으며, 제어된 노이즈 상관성(c)을 가진 노이즈가 있는 AND 게이트를 통해 ΦID가 기대에 어긋나는 행동(예: 전체-합 Φ의 음수 값)을 드러내는 것을 입증하였다.

실험 결과

연구 질문

• RQ1 이중 인과관계를 초월하여 다변량 정보 동역학을 공식적으로 분해하여 해석 가능한 구성 요소로 나눌 수 있는가?
• RQ2 기존의 일차원 통합 정보 측정법(예: Φ, CD, ψ)이 질적으로 다른 정보 흐름 방식을 어느 정도 혼동하는가?
• RQ3 관측된 복잡한 시스템의 동역학적 복잡성의 근본 원인이 되는 특정 정보 구성 요소—부재, 고유, 상호작용—를 식별하고 분리할 수 있는가?
• RQ4 '전체-합' 형식의 통합 정보가 음수 값을 가질 수 있는 이유는 무엇이며, 이는 정보 동역학의 본질에 대해 어떤 의미를 갖는가?
• RQ5 특정 정보 흐름 방식을 타겟으로 하는 새로운, 맞춤형 통합 정보 측정법을 어떻게 구성할 수 있는가? 단일 스칼라로 집계하는 것이 아니라.

주요 결과

• ΦID는 정보 동역학을 16개의 구체적 정보 원자로 분해하여, 다변량 시스템에서 정보가 어떻게 저장되고 전달되고 변형되는지를 완전한 분류 체계로 제공한다.
• 이 프레임워크는 기존의 Φ로 측정되는 '통합성'이 단일 현상이 아니라, 부재, 고유, 상호작용 성분의 집합이며, 이는 기존 측정법에서 자주 혼동됨을 드러낸다.
• 상관 노이즈가 있는 노이즈 AND 시스템에서 c=1일 경우 ΦG = 0으로 나타나, 비록 상호작용과 부재가 비제로이지만 통합 정보가 없음을 의미하며, 이는 상호작용이 존재한다고 해서 통합성이 보장되지 않음을 보여준다.
• '전체-합' Φ는 강한 부재성과 낮은 상호작용을 보일 경우 음수가 될 수 있으며, 이는 노이즈 AND 시스템에서 c=0.5일 때 개별 기여의 합이 총 정보를 초과함으로써 비음수성 가정을 위반함을 보여준다.
• 인과 밀도(CD)는 개별 및 동시 전달과 관련된 원자로 구성되며, ψ(상호작용)는 완전히 이중 상호작용 원자 I∂^{12→12}에 의해 포괄됨을 보여주며, 이는 ψ가 통합 정보의 특정 부분만 측정한다는 것을 의미한다.
• ΦWMS는 다수의 ΦID 원자로 분해되며, 이중 고유 성분의 음수 기여가 포함되어 있어, 이는 ΦWMS의 비단조성 행동과 특정 구성에서의 음수 값 가능성에 대한 설명을 제공한다.